CN117369008A - 基于最近单元多头注意力和多尺度编码机制的tem反演方法 - Google Patents
基于最近单元多头注意力和多尺度编码机制的tem反演方法 Download PDFInfo
- Publication number
- CN117369008A CN117369008A CN202311207014.6A CN202311207014A CN117369008A CN 117369008 A CN117369008 A CN 117369008A CN 202311207014 A CN202311207014 A CN 202311207014A CN 117369008 A CN117369008 A CN 117369008A
- Authority
- CN
- China
- Prior art keywords
- tem
- attention
- inversion
- method based
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000007246 mechanism Effects 0.000 title claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000004044 response Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 description 19
- 230000006698 induction Effects 0.000 description 10
- 238000009933 burial Methods 0.000 description 6
- 238000011835 investigation Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000005672 electromagnetic field Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009901 attention process Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
- G01V3/38—Processing data, e.g. for analysis, for interpretation, for correction
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Geophysics (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，包括以下步骤：基于具有多头注意力的视觉变换器ViT改进编码器模块；构建输入级联补丁模块；构建标记位置编码嵌入模块；改进解码器；组合连接输入级联补丁模块、标记位置编码嵌入模块、编码器和解码器，构建TEM反演变换器网络模型；训练TEM反演变换器网络模型，并利用其预测未知大地的地电结构和滑坡含水层结构。本发明构建的构建TEM反演变换器网络模型成像准确性好、速率快，并能够精细检测100米深度范围内的浅表结构。
Description
技术领域
本发明属于地球物理瞬变电磁法技术领域，具体涉及一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法。
背景技术
作为一种探测地下结构的非接触方法，瞬变电磁法(Transient electromagneticmethod，TEM)可以推断地电介质的分布。由于其高浅层分辨率和对低电阻率含水层结构的敏感性，它广泛应用于滑坡调查。瞬变电磁法(TEM)是利用不接地回线或接地线源向地下发射一次脉冲磁场，在一次脉冲磁场间歇期间利用线圈或接地电极观测地下介质中引起的二次感应涡流场，从而探测介质电阻率的一种方法。其基本工作方法是：于地面或空中设置通以一定波形电流的发射线圈，从而在其周围空间产生一次电磁场，并在地下导电岩矿体中产生，断电后，感应电流由于热损耗而随时间衰减。
TEM通过反演优化计算来推导地电结构。然而，这个优化过程高度非线性，容易陷入局部极值。人工智能技术通过提出的反演拟合方法(如神经网络)显著提高了TEM反演的计算效率。然而，单站预测经常在准二维剖面上产生电气不连续性，直接反演地下连续地电结构的能力仍然有限。
TEM反演连续地电结构可以被视为一种复杂的非线性图像重建过程。为了解决这个挑战，已经采用了基于卷积神经网络(CNN)的几种图像重建算法。这些方法利用卷积层提取不同尺度的局部特征，并对具有平移等变性的图像进行操作。这些特征表示已成功应用于图像分类、目标检测和人脸识别等任务。虽然基于CNN的图像重建方法在Seq2Seq图像重建任务中展示了有希望的结果，但由于卷积操作的特性，它们经常专注于捕捉局部信息。因此，在建立图像之间的全局远距离连接方面面临挑战。这导致CNN强调突出局部特征，而不足考虑特征之间的相关性。
循环神经网络(RNN)和长短时记忆(LSTM)模型的记忆机制使其能够有效捕捉上下文信息，并增强长序列数据中特征之间的相关性。这些网络，尤其是Seq2Seq模型，遵循马尔可夫性质，假设每个状态仅依赖于先前观察到的状态。另一方面，变换器架构利用注意机制，作为编码器-解码器模型进行操作。它可以在不依赖过去隐藏状态的情况下捕捉单词之间的依赖关系。变换器对输入序列中的每个位置执行注意力计算，因此它非常适用于处理各种任务。在变换器的基本框架上，视觉变换器(ViT)作为视觉任务的一种杰出技术解决方案出现了。通过将输入图像向量化为分块的序列，ViT将变换器的应用从自然语言处理扩展到计算机视觉。它在多个基准测试中表现出色，包括ImageNet、COCO和ADE20k。
ViT成功的关键因素之一是通过自注意力直接建模全局关系，通过自我注意力可以扩大图像的感受野，增强特征聚合，并捕捉更多的上下文信息。通过在编码器、解码器和自注意力融合模块之间的不同级别的特征图融合，更容易捕捉对象内部和对象之间的远距离上下文信息。然而，自我注意力带来了很高的计算复杂度。随着序列长度的增加，复杂度呈指数增长。因此，在处理远距离上下文信息时，自我注意力成为计算瓶颈。
为了更加有效地将深度学习技术应用到地球物理瞬变电磁反演成像领域，本发明提出了一种新的TEM反演方法，结合最近单元多头注意力和多尺度编码机制，本发明的TEM反演方法改进了长序列数据中特征之间的相关性，可有效捕捉上下文信息，获得更加精确的二维电性结构。
发明内容
有鉴于此，本发明的目的在于提供一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法。本发明旨在解决现有神经网络反演方法成像准确性差，难以精确成像滑坡含水层结构的问题。
为达到上述目的，本发明提供了一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，包括以下步骤：
S1.基于具有多头注意力的视觉变换器ViT改进编码器模块；
所述编码器的改进包括提升局部注意力和引入最近注意力；
S2.构建输入级联补丁模块；
所述输入级联补丁模块用于将TEM响应信号转换为补丁序列，然后线性投影到嵌入层进行位置编码；
S3.构建标记位置编码嵌入模块；
所述标记位置编码嵌入模块引入位置编码技术，使输入数据能够携带位置特征；
S4.改进解码器；
所述解码器包括三个Conv+变换器块；
S5.组合连接输入级联补丁模块、标记位置编码嵌入模块、编码器和解码器，构建TEM反演变换器网络模型；
S6.训练TEM反演变换器网络模型，并利用其预测未知大地的地电结构和滑坡含水层结构。
进一步，所述步骤S1中，提升局部注意力的包括以下子步骤：
S1.1调整三个矩阵Q/K/V的计算，实现多头注意力；
MultiHeadAttn(Q,K,V)＝concat(head1,head2,…headH)Wo, (1)
其中，Q/K矩阵通过softmax生成一个权重矩阵，然后与V矩阵结合，得到加权求和；这个过程重复Nheads次，其中Nheads表示注意力头的数量；
S1.2引入结构偏置减少计算复杂度，限制每个Q关注的Q-K对的数量；
S1.3引入ShiftWindow注意力机制；
S1.4设置一个以查询对应位置为中心的局部窗口，提取用于计算的键和值；
S1.5计算y方向上的Laplace微分算子和z方向上的Laplace微分算子/>
进一步，所述步骤S1中，最近注意力为滑动窗口注意力，表示每个查询被限制在其最近的单元上，从而产生稀疏的注意力矩阵。
进一步，所述补丁序列为包括补丁和子补丁的多级分辨率标记。
进一步，所述步骤S3中，输入数据通过坐标的正弦和余弦函数携带位置特征，计算表达式如下：
式中，pos是变量，表示位置；i表示当前维度；位置编码的每个维度对应一个正弦信号。
进一步，所述步骤S4中，Conv层为2x2步长的3x3卷积。
进一步，所述步骤S4中，解码器特征图的顺序为32H×32W、16H×16W、8H×8W和4H×4W；其中，输入模型的尺寸为H×W。
进一步，所述步骤S4中，解码器引入了LayerScale。
进一步，所述TEM反演变换器网络模型在每个模块中引入了一个层归一化残差网络。
本发明的有益效果在于：
本发明一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，通过引入最近邻单元多头注意力和多尺度编码机制，开发了一种用于TEM反演的变换器网络模型。最近邻单元注意力的引入模拟了梯度反演中粗糙度矩阵的平滑约束，避免了电学变化的突变。这使得网络模型的预测结果与具有地质意义的地电模型非常相似。此外，多尺度编码机制的应用使网络模型能够通过内部和外部变换器捕捉地电结构的局部和全局特征。这增强了反演地电结构的分辨率，能够对100米深度范围内的浅表结构进行精细检测。
本发明通过不同地电异常的数值实例，证明了所提出的网络模型在TEM反演中优于传统的MLP网络模型。它准确描述了高电阻和低电阻块的电阻率值和分布。在实际的滑坡调查中，所提出的模型展现出与传统TEM反演方法相当的反演准确性，同时显著提高了计算效率。其实际应用价值得到了验证和确认。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究，对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
图1为TEM反演变换器网络模型的架构图；
图2为全局注意力和局部注意力的稀疏对比图；
图3为最近注意力和自注意力的查询-键-值结构示意图；
图4为感受野范围示例图；
图5为模型1的设置和TEM响应的比较；
图6为模型1生成的TEM响应信号；
图7为通过对地电模型1生成的TEM响应信号进行反演得到的不同网络模型预测的地电模型；
图8为模型2的设置和TEM响应的比较；
图9为模型2产生的TEM响应信号；
图10为通过对地电模型2生成的TEM响应信号进行反演得到的不同网络模型预测的地电模型；
图11为滑坡调查的基本情况；
图12为滑坡的TEM调查结果。
具体实施方式
为使本发明的技术方案、优点和目的更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请的保护范围。
如图1所示，本发明提供一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，包括以下步骤：
S1.基于具有多头注意力的视觉变换器ViT改进编码器模块；
ViT的整体结构与基本变换器非常相似，由编码器和解码器组成，形成一个Seq2Seq模型。每个编码器块主要包括一个多头自注意力模块和一个位置前馈网络(FFN)。为了构建更深的模型，对每个模块应用残差连接，然后进行层归一化。在多层感知器(MLP)块中，ViT采用了预归一化(Pre-Norm)而不是基本变换器的位置归一化(Pose-Norm)，简化了训练过程。
为了确保每个神经元层考虑到该层的所有输入，变换器引入注意力机制。基本变换器的自注意力可以表示为查询-键-值(QKV)形式的缩放点积注意力：
Attention(Q,K,V)＝AV, (1)
这意味着该过程使用三个矩阵Q、K和V将输入映射到不同的空间。计算Q和K的点积，然后应用softmax函数以获取注意力权重。Token的维度由Dk表示，√Dk的引入旨在缩小点积值，确保softmax梯度的稳定性。随后，应用softmax函数对注意力权重进行归一化。
在基本变换器中，位置逐一的前馈网络(FFN)用于处理每个特征的注意力值。FFN由GeLU激活函数和一个标准的全连接层组成，数学表示如下：
FFN(H′)＝GELU(H′W1+b1)W2+b1, (3)
其中，H′表示前一层的输出。与常规的全连接网络不同，在这种情况下，FFN的输入是序列中每个位置的元素，而不是整个序列。因此，每个元素可以独立计算。与ViT保持一致，将MLP定义为包括一个全连接层、一个GELU激活函数和Dropout。需要注意的是，第一个全连接层将输入节点的数量增加了四倍，将形状从[L,Ntokens]转换为[L,4*Ntokens]。随后，第二个全连接层恢复了原始节点数，将形状从[L,4*Ntokens]改变为[L,Ntokens]。
编码器的改进包括提升局部注意力和引入最近注意力。
提升局部注意力包括以下子步骤：
S1.1调整三个矩阵Q/K/V的计算，实现多头注意力；
MultiHeadAttn(Q,K,V)＝concat(head1,head2,…headH)Wo, (4)
其中，Q/K矩阵通过softmax生成一个权重矩阵，然后与V矩阵结合，得到加权求和；这个过程重复Nheads次，其中Nheads表示注意力头的数量；需要确保hidden_size/Nheads为整数。
S1.2引入结构偏置减少计算复杂度，限制每个Q关注的Q-K对的数量；
在这种限制下，只需要基于预定义的模式计算Q-K对的相似度；
S1.3借鉴卷积引入邻域偏置和局部性的思想，引入Shift Window注意力机制；
ShiftWindow作为最初的基于窗口的自注意力机制之一，它将输入特征图分区，并分别对每个分区应用自注意力，这个操作具有更好的复杂度和可并行化性
S1.4使用最近注意力操作来定位围绕每个查询的窗口内的感受野，即设置一个以查询对应位置为中心的局部窗口，提取用于计算的键和值；
这样避免像Swin中使用的循环移位等额外技术；这些局部邻域的计算自然地实现了具有重叠区域的移位窗口交互，类似于卷积，而无需Swin引入的额外偏移操作；
图2展示了基于滑动窗口的局部注意力和全局注意力之间的稀疏性比较，图2(a)表示全局注意力的稀疏表示，图2(b)表示局部注意力的稀疏表示。滑动窗口生成的稀疏分布与Laplacian算子的结构特征相一致，确保了地电单元的平滑过渡约束。这个概念类似于TEM反演地电结构中使用的模型粗糙矩阵。
S1.5计算y方向上的Laplace微分算子和z方向上的Laplace微分算子/>
对于YZ平面上的二维地电模型，XYZ方向上的地电单元数量分别为Nx＝1、Ny和Nz。
最近注意力：
最近注意力为滑动窗口注意力，表示每个查询被限制在其最近的单元上，从而产生稀疏的注意力矩阵。
最近邻注意力和地电模型图像中单个令牌/补丁的自注意力之间的查询-键结构差异如图3所示，图3(a)表示全局自注意力过程，图3(b)表示局部最近注意力过程。在自注意力中，每个令牌都可以关注其他令牌，并生成注意力的感受野在其局部邻域内定义。另一方面，在最近注意力中，当邻域窗口的大小超过或等于特征图的大小时，它等效于标准的自注意力操作。
自注意力允许每个令牌关注所有其他令牌，而邻域注意力将每个令牌的感受野定位到其周围邻域内，如图4所示。当一个令牌位于地电模型的边界时，可以在不需要填充的情况下查询其相应的感受野。这意味着位于边缘的不同令牌具有相同的注意力范围。
在7×7特征图上的3×3最近注意力模式。查询颜色为橙色，其注意范围(键-值对)为深蓝色。由于邻域的定义，在角落处会重复出现“窗口”。这可以使注意范围与其余特征图保持一致。
给定输入X∈Rn×D，它是一个行表示D维令牌向量的矩阵，以及X的线性投影Q、K和V，带有相对位置偏差B(i,j)的注意力可以表示如下：
Attention(Q,K,V)＝softmax(QKT+B)V. (7)
定义一个大小为k的最近区域，其中第i个输入Xi的注意力权重表示为Ai k，并将其用作第i个输入的查询投影Q。然后，具有大小为k的邻域的第i个令牌的邻域注意力可以由最近邻键投影的点积表示为：
其中，是缩放参数，k的最近注意力权重为：
其中，ρj(i)表示第i个输入Xi对应的第j个最近单元。函数B为注意力映射QKT的每个元素引入一个值，目的是进一步偏置注意力映射。这种偏置有助于强调注意力映射中的某些元素。通过给注意力映射中的特定元素分配较低的值，它们在softmax操作后对最终特征的贡献将较低。
然后，定义邻接值矩阵其中矩阵的行对应于Xi的k个最近邻接值的投影
编码器的外部变换器块负责处理补丁嵌入，而内部变换器块从像素嵌入中提取局部特征。像素级特征通过线性变换层投影到补丁嵌入空间中，然后加到相应的补丁中。这种变换器在变换器(TNT)块中堆叠的方法可以同时保留补丁级和像素级的信息提取。它极大地增强了模型捕捉局部结构的能力，并提高了识别性能。
S2.构建输入级联补丁模块；
输入级联补丁模块用于将TEM响应信号转换为补丁序列，然后线性投影到嵌入层进行位置编码，并且它们的编码器被深度融合以实现精细的图像处理，这种结构的有效性在各种基准实验中得到了证明。这个过程生成具有不同分辨率的标记。与视觉句子对应的补丁和与视觉单词对应的补丁分别输入编码器
变换器架构不直接处理形式为[H,W]的图像数据。相反，它将图像数据分成一组补丁，然后将它们嵌入到特征空间中。具有形状[H,W]的输入图像被分成补丁，其中每个补丁的形状为[Wp,Hp]。通过应用大小为WpxHp、步长为Hp的卷积操作，将输入信号的形状从[H,W]转换为[W/Wp,H/Hp,]。随后，具有形状为[H,W]的输入信号被展平为形状为[W/Wp,H/Hp,Ntokens]的形状，其中Ntokens＝Wp*Hp。这些数据进一步被重新塑形为形状为[Wp*Hp,Ntokens]的形状。得到的二维矩阵数据可以通过变换器模型进行处理。
S3.构建标记位置编码嵌入模块；
标记位置编码嵌入模块引入位置编码技术，用其位置信息表示序列中的每个单词，使输入数据能够携带位置特征；
这使得模型能够理解每个标记的位置。对于图像数据，可以根据像素坐标的D维编码添加位置编码。本发明使用两种不同类型的坐标编码：坐标的正弦和余弦函数。这些编码在不同维度上使用不同的频率来有效捕捉位置信息，计算表达式如下：
式中，pos是变量，表示位置；i表示当前维度；位置编码的每个维度对应一个正弦信号。位置编码的每个维度对应一个正弦信号。这些信号的波长形成一个几何级数，范围从2π到10000×2π。这种编码函数使得模型能够学习到相对位置信息。在表示两个坐标的情况下，本发明将D/2个维度分配给行号的编码，剩下的D/2个维度分配给列和地电幅度通道的编码。
S4.改进解码器；
解码器包括三个Conv+变换器块；Conv层可以视为下采样操作，将空间维度减半。本发明使用2x2步长的3x3卷积，与Swin架构使用两个非重叠的卷积合并补丁不同。解码器的后半部分由两个连续的卷积层组成。此外，输入模型的尺寸为H*W，在前馈传播方面，解码器的特征图遵循顺序为32H×32W、16H×16W、8H×8W和4H×4W。此外，本发明引入了LayerScale以确保更大变体的稳定性。
S5.组合连接输入级联补丁模块、标记位置编码嵌入模块、编码器和解码器，构建TEM反演变换器网络模型，TEM反演变换器网络模型在每个模块中引入了一个层归一化残差网络；
H＝LayerNorm(FFN(H′)+H′)， (12)
H′＝LayerNorm(SelfAttention(X)+X)， (13)
S6.训练TEM反演变换器网络模型，并利用其预测未知大地的地电结构和滑坡含水层结构。
数值实验
使用基于模型的合成地电采样策略生成地电模型样本，生成总共5E9个地电模型样本作为输出。为了获得相应的感应Hz信号，使用COMSOL进行正演模拟，提供输入样本。训练终止条件由均方误差(MSE)损失函数定义，目标是达到1％的阈值。
输入信号由多个观测站观测到的TEM响应组成。当观测站数量小于81时，可以插值得到81个观测站的TEM响应数据。每个网络模型对应特定的观测设备集。
对于一个尺寸为20m×20m的固定环传输线圈，时间通道可以设置在1e-7s到1e-2s的范围内，使用指数等间隔序列，间隔为0.1。这51个时间通道可以插值为81个时间通道。因此，来自多个站点的TEM响应可以插值为一个大小为81×81的网格。补丁被扩展为大小为9×9，然后展平为嵌入向量。
反演电异常体本身及其周围区域的准确性在评估反演网络模型的过程中起着至关重要的作用。为了评估所提出的网络模型在TEM反演中的有效性，本发明设计了两个数值地电模型示例，其中包含异常体。
第一个示例包括分布在左右两侧的异常体，而第二个示例涉及分布在上下区域的异常体。这些示例专门设计用于展示所提出的网络模型在准确反演TEM数据以及捕捉异常体和其空间分布特征方面的能力。
实施例1
在地电模型1中，如图5(a)所示，周围岩石区域包含高电阻和低电阻块作为电异常体，背景电阻率为150Ω·m。这些异常体的分布关系是“左高右低”。两个异常体的尺寸均为70m×20m。低电阻块的电阻率为50Ω·m，埋深为50m。另一方面，高电阻块的电阻率为400Ω·m，埋深为20m。这两个异常体之间相距100m。图5(a)显示了模型1的设置，其中在均质半空间中存在两个高电阻和低电阻的异常块。
设计一个尺寸为20m×20m的传输线圈，并施加1A的阶跃电流。对应于这两个异常体的感应Hz响应如图5(b)所示，用于记录TEM响应信号的测量站点直接位于两个块的中心点上方。图5(b)显示了直接位于两个异常体中心(x＝-85m,x＝85m)上方的TEM响应信号，以及在中间站点(x＝0m)记录的参考TEM响应信号。
此外，还有一个观测站点位于上述两个异常体之上的站点的中间位置。由该站点记录的TEM响应用作参考，突出了左右异常体对感应Hz的影响。直接位于两个异常体上方的站点与中间站点之间的距离均为85m。
作为参考信号，可以将x＝0m处的TEM响应视为与均质半空间响应最接近的响应。从图5可以看出，低电阻异常体信号与参考信号之间的误差较小，而高电阻异常体信号与参考信号之间的误差较大。这一现象与浅埋深的异常体对感应Hz的影响更大的规律是一致的。
这一观察结果符合一个一般原则，即埋深较浅的异常体对感应Hz有更大的影响。因此，与埋深为50米的低电阻异常体相比，埋深为20米的高电阻异常体对感应Hz的影响更为显著。
测量站从-200米开始，并以5米的等间距排列，共有81个测量站。观测时间范围为1e-7秒至1e-2秒，按照指数间隔为0.1进行采样，共有51个时间通道。原始记录的TEM响应信号具有维度[Nstn,Nt]，即[51,81]。
从图5可以观察到，异常体对TEM响应信号影响最大的时间窗口位于1e-6秒至1e-4秒之间。为了更好地突出低电阻和高电阻异常块对TEM感应信号的影响，对第15至31个时间通道对应的TEM响应信号进行了归一化处理，使其均值为0，标准差为1，如图6所示。归一化后的信号更清晰地展示了异常块对TEM响应的影响。
然后，将归一化的TEM感应信号作为网络模型的输入，网络模型进行推断，得到反演预测的地电模型(图7a)。将其与传统的MLP模型预测的地电模型进行比较(图7b)。观察到，与传统的MLP模型相比，所提出的网络模型在2D地电结构中实现了更高的分辨率。MLP模型只能近似地反映高电阻和低电阻体的左右趋势和位置，没有明确的细节显示它们的具体位置分布。此外，MLP神经网络在左上区域预测出了一个低电阻体的伪异常。相比之下，所提出的变换器网络反演预测的地电模型在异常体的分布范围和电阻率值的恢复方面表现出了更高的准确性
实施例2
在地电模型2(图8a)中，周围岩石区域存在两个异常体，即高电阻区和低电阻区，其背景电阻率为150Ω·m。低电阻区位于高电阻区的正上方。图8(a)显示了模型2的设置，其中在均匀半空间中存在两个高电阻区块和低电阻区块的异常体。
这两个区块的尺寸如下：低电阻区的尺寸为70m×20m，而高电阻区的尺寸为70m×50m。低电阻区的电阻率为50Ω·m，顶部埋深为10m。另一方面，高电阻区的电阻率为400Ω·m，顶部埋深为40m。
从图8b可以看出，左侧和右侧的测量站记录到的TEM响应信号是一致的，这与测量站和模型的对称分布相符合。中间测量站记录到的TEM响应信号受到低电阻区块和高电阻区块的影响。图8(b)表示在异常体中心(x＝0m)直接上方和两侧(x＝-100m，x＝100m)的测量站采集到的TEM响应信号。
在1e-6到1e-4秒的时间窗口范围内，测量站记录到的TEM响应的误差偏离变得更加明显。在中间的观测站记录到的感应Hz衰减一开始减慢，然后迅速衰减。这种行为符合低电阻区块的埋深比高电阻区块浅的基本特征。低电阻区块阻碍了感应Hz的衰减，而高电阻区块加速了感应Hz的衰减。
在图9中，对应于第11到第31个时间通道的TEM响应信号进行了归一化处理，均值为0，标准差为1。这个归一化过程清晰地展示了异常体对TEM感应信号的影响。尤其突出了横向边界的描绘，提供了感应信号的更好可见性和清晰度。归一化后的TEM感应信号作为提出的网络模型的输入，然后进行推理以生成反演预测的地电模型(图10a)。此外，图10b显示了从相同输入中由传统的MLP模型预测的地电模型。
两个网络模型在横向方向上都展现出清晰的边界，这归因于输入信号中存在明显的水平边界。此外，与传统的MLP模型相比，所提出的变换器网络模型在垂直方向上具有更高的分辨率。它能够有效区分2D地电结构中上方低电阻异常体的下边界和下方高电阻异常体的上边界。这表明所提出的变换器网络模型在捕捉地电结构内的细微变化方面具有改进的垂直分辨率
实施例3
滑坡应用
为了进一步验证所提出的变换器网络模型的反演能力，本实施例在一个滑坡区进行了一项调查测试(图11)。在滑坡的前沿，存在着一个明显的活动变形区(图11a)。电阻率层析成像(ERT)方法已被用于研究地下电气结构，并推断该活动变形区内存在优先流通道(图11c)。图11(a)显示了滑坡质量中活动变形区的位置，以及ERT和TEM调查线的位置；图11(b)展示了滑坡的基本外观；图11(c)展示了ERT剖面检测的结果。
考虑到ERT调查线的位置，相应的TEM调查线被安排。调查揭示了滑坡前沿处明显的活动变形区域。ERT结果与所提出的变换器网络模型的结果的比较进一步验证了该模型在准确捕捉滑坡区域地下特征方面的反演能力。
与传统的梯度优化反演结果相比(图12a)，所提出的变换器网络模型反演的地电模型可以反演出滑坡的基本结构，包括基岩面、弱区和含水层等重要结构(图12b,c)。在x＝550至650m范围内，基岩面严重破碎，形成了优先流通道(图12c)。这个区域呈现出低电阻性质，在预测的地电结构中对应的电阻率值为450Ω·m。地电模型的反演还清晰地描绘了基岩面上方的含水层和弱区。不仅如此，还清晰地描述了滑坡质量前沿高含水量的弱区和尾部低含水量的特征。图12(a)展示了由基于梯度的方法预测的滑坡的地电结构，图12(b)展示了由所提出的变换器网络模型预测的滑坡的地电结构，图12(c)展示了滑坡的推断地质结构。
与传统的基于梯度优化的反演结果相比(图12a)，所提出的变换器网络模型生成的地电模型有效地捕捉了滑坡区域的基本结构。这包括基岩面、弱区和含水层等重要特征(图12b,c)
在x＝550至650m范围内，基岩面严重破碎，明显存在优先流通道(图12c)。该区域表现出低电阻性质，在预测的地电结构中电阻率值为450Ω·m。在基岩面上方的含水层和弱区在变换器网络模型生成的地电模型中也被清晰地描绘出来。
此外，地电模型有效地展示了滑坡质量前沿高含水量的弱区和尾部低含水量的特征。这些差异在反演的地电模型中准确地体现了变换器网络模型对滑坡区域弱区的空间分布和含水量变化的捕捉能力。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。
Claims (9)
1.一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，其特征在于，包括以下步骤：
S1.基于具有多头注意力的视觉变换器ViT改进编码器模块；
所述编码器的改进包括提升局部注意力和引入最近注意力；
S2.构建输入级联补丁模块；
所述输入级联补丁模块用于将TEM响应信号转换为补丁序列，然后线性投影到嵌入层进行位置编码；
S3.构建标记位置编码嵌入模块；
所述标记位置编码嵌入模块引入位置编码技术，使输入数据能够携带位置特征；
S4.改进解码器；
所述解码器包括三个Conv+变换器块；
S5.组合连接输入级联补丁模块、标记位置编码嵌入模块、编码器和解码器，构建TEM反演变换器网络模型；
S6.训练TEM反演变换器网络模型，并利用其预测未知大地的地电结构和滑坡含水层结构。
2.根据权利要求1所述的一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，其特征在于：所述步骤S1中，提升局部注意力的包括以下子步骤：
S1.1调整三个矩阵Q/K/V的计算，实现多头注意力；
MultiHeadAttn(Q,K,V)＝concat(head1,head2,…headH)Wo, (1)
其中，Q/K矩阵通过softmax生成一个权重矩阵，然后与V矩阵结合，得到加权求和；这个过程重复Nheads次，其中Nheads表示注意力头的数量；
S1.2引入结构偏置减少计算复杂度，限制每个Q关注的Q-K对的数量；
S1.3引入Shift Window注意力机制；
S1.4设置一个以查询对应位置为中心的局部窗口，提取用于计算的键和值；
S1.5计算y方向上的Laplace微分算子和z方向上的Laplace微分算子/>
3.根据权利要求1所述的一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，其特征在于：所述步骤S1中，最近注意力为滑动窗口注意力，表示每个查询被限制在其最近的单元上，从而产生稀疏的注意力矩阵。
4.根据权利要求1所述的一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，其特征在于：所述补丁序列为包括补丁和子补丁的多级分辨率标记。
5.根据权利要求1所述的一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，其特征在于：所述步骤S3中，输入数据通过坐标的正弦和余弦函数携带位置特征，计算表达式如下：
式中，pos是变量，表示位置；i表示当前维度；位置编码的每个维度对应一个正弦信号。
6.根据权利要求1所述的一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，其特征在于：所述步骤S4中，Conv层为2x2步长的3x3卷积。
7.根据权利要求1所述的一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，其特征在于：所述步骤S4中，解码器特征图的顺序为32H×32W、16H×16W、8H×8W和4H×4W；其中，输入模型的尺寸为H×W。
8.根据权利要求7所述的一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，其特征在于：所述步骤S4中，解码器引入了LayerScale。
9.根据权利要求1所述的一种基于最近单元多头注意力和多尺度编码机制的TEM反演方法，其特征在于，所述TEM反演变换器网络模型在每个模块中引入了一个层归一化残差网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311207014.6A CN117369008A (zh) | 2023-09-19 | 2023-09-19 | 基于最近单元多头注意力和多尺度编码机制的tem反演方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311207014.6A CN117369008A (zh) | 2023-09-19 | 2023-09-19 | 基于最近单元多头注意力和多尺度编码机制的tem反演方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117369008A true CN117369008A (zh) | 2024-01-09 |
Family
ID=89395409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311207014.6A Pending CN117369008A (zh) | 2023-09-19 | 2023-09-19 | 基于最近单元多头注意力和多尺度编码机制的tem反演方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117369008A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689044A (zh) * | 2024-02-01 | 2024-03-12 | 厦门大学 | 一种适用于视觉自注意力模型的量化方法 |
-
2023
- 2023-09-19 CN CN202311207014.6A patent/CN117369008A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689044A (zh) * | 2024-02-01 | 2024-03-12 | 厦门大学 | 一种适用于视觉自注意力模型的量化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Deep learning inversion of electrical resistivity data | |
| Yang et al. | MemSeg: A semi-supervised method for image surface defect detection using differences and commonalities | |
| Bilinski et al. | Dense decoder shortcut connections for single-pass semantic segmentation | |
| Zhang et al. | A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data | |
| CN117369008A (zh) | 基于最近单元多头注意力和多尺度编码机制的tem反演方法 | |
| Li et al. | DenseKPNET: Dense kernel point convolutional neural networks for point cloud semantic segmentation | |
| Wang et al. | Arbitrarily-oriented tunnel lining defects detection from ground penetrating radar images using deep convolutional neural networks | |
| Liu et al. | Adaptive convolution neural networks for electrical resistivity inversion | |
| Yu et al. | Earthquake crack detection from aerial images using a deformable convolutional neural network | |
| Frey et al. | Visualization of temporal similarity in field data | |
| CN114913434B (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
| Zeng et al. | Recurrent residual dual attention network for airborne laser scanning point cloud semantic segmentation | |
| Feng et al. | GPR-based model reconstruction system for underground utilities using GPRNet | |
| Guo et al. | Deep learning framework for geological symbol detection on geological maps | |
| Hu et al. | Multi-condition controlled sedimentary facies modeling based on generative adversarial network | |
| Monteiro et al. | Self-supervised learning for seismic image segmentation from few-labeled samples | |
| Chang et al. | A transformer-based network with differential feature triple refinement for bitemporal remote sensing image change detection | |
| Haber et al. | Using machine learning to interpret 3D airborne electromagnetic inversions | |
| Moghalles et al. | Weakly supervised building semantic segmentation via superpixel‐CRF with initial deep seeds guiding | |
| Vu et al. | Multitasking neural network to jointly map discrete fracture structures and matrix transmissivity by inverting hydraulic data acquired in 2D fractured aquifers. XNET-fracture | |
| CN112465836B (zh) | 基于轮廓信息的热红外语义分割无监督领域自适应方法 | |
| Cedou et al. | Preliminary geological mapping with convolution neural network using statistical data augmentation on a 3D model | |
| Wu et al. | Exploring Convolutional Neural Networks for Predicting Sentinel-C Backscatter Between Image Acquisitions | |
| Zhao et al. | GO: A two-step generative optimization method for point cloud registration | |
| Meikle et al. | Computer vision algorithms for autonomous mobile robot map building and path planning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |