CN118033732B - 一种基于空域频域融合架构的地震数据重建方法 - Google Patents

一种基于空域频域融合架构的地震数据重建方法 Download PDF

Info

Publication number
CN118033732B
CN118033732B CN202410438818.5A CN202410438818A CN118033732B CN 118033732 B CN118033732 B CN 118033732B CN 202410438818 A CN202410438818 A CN 202410438818A CN 118033732 B CN118033732 B CN 118033732B
Authority
CN
China
Prior art keywords
seismic data
frequency domain
attention
convolution
stripe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410438818.5A
Other languages
English (en)
Other versions
CN118033732A (zh
Inventor
袁学文
王珺
刘伟锋
刘宝弟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202410438818.5A priority Critical patent/CN118033732B/zh
Publication of CN118033732A publication Critical patent/CN118033732A/zh
Application granted granted Critical
Publication of CN118033732B publication Critical patent/CN118033732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
    • G01V1/282—Application of seismic models, synthetic seismograms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
    • G01V1/32—Transforming one recording into another or one representation into another
    • G01V1/325—Transforming one representation into another
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Acoustics & Sound (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开一种基于空域频域融合架构的地震数据重建方法，属于地球物理技术领域，用于地震数据的重建，包括准备地震数据集，构建、训练、验证地震数据重建网络，进行数据重建；构建地震数据重建网络包括，设计基于多维动态卷积、交叉条纹自注意力和空间域、频域融合方法的编码器‑解码器架构，编码器由两个分支并行，将两个分支的特征融合之后经解码器得到重建后的地震数据；本发明将多维动态卷积组成的密集残差模块加入到快速傅里叶变换中构成频域分支获取输入地震数据的频域特征，之后将空域特征和频域特征进行融合用于地震数据重建；减小自注意力机制计算的复杂度和参数量，同时更好的适应空间域和频域融合之后的特征，实现更好的重建结果。

Description

一种基于空域频域融合架构的地震数据重建方法
技术领域
本发明公开一种基于空域频域融合架构的地震数据重建方法，属于地球物理技术领域。
背景技术
地震勘探的重要意义是通过处理携带地下特征信息的人工激发的地震波来获取地下储层的分布信息。但在野外采集地震数据的过程中会经常遇到山川、水域、建筑、经济作物、坏道、废炮以及要考虑经济成本等问题，使得所采集到的地震数据在空间上不完整，具体表现为地震道随机缺失、等间隔规则缺失甚至大规模连续缺失。地震数据的不完整将对后续的地震数据处理产生严重的干扰，例如，影响多次波压制、偏移成像等的精确性，进而影响最终地震资料解释的可靠性。地震数据重建的目的是将原始地震数据缺失的部分恢复出来或者是将低采样率的数据重建为高采样率的地震数据。传统的地震数据重建方法基于模型或理论驱动，涉及很多的先验假设，需要用户自定义大量的参数，需要针对不同的数据集选择不同的参数才能产生最佳的插值性能。另外，它需要大量的人机交互，自动化程度较低，在面对海量的地震数据时，计算耗时。除此之外，传统地震数据重建方法不能同时获取到地震数据的整体结构和局部信息，例如边缘、纹理等信息。
近年来，随着深度学习技术的快速发展，各种深度神经网络已被应用于地震数据重建领域，其中卷积神经网络由于能够在相邻地震道之间共享权重而在地震数据重建中占据主导地位。深度学习策略的主要计算成本来自于最优网络训练，该训练预先发生。训练后，插值计算成本可以忽略不计，从而以自动方式提高整体计算成本，特别是对于大量数据。但由于卷积神经网络在提取特征的过程中是通过卷积滤波器提取与卷积核大小相同的感受野特征，而这个感受野是固定的，所以卷积神经网络只能提取局部的特征信息。这种基于固定卷积核的卷积神经网络本身无法提取全局特征，使得不同局部模块之间缺乏相应的联系，不利于地震数据重建得到整体的结构。
Transformer是一种基于自注意力的编码器-解码器模型，已经在自然语言处理和计算机视觉领域的多种任务上取得了卓越的性能。由于其具有竞争力的建模能力，与现代卷积神经网络相比，视觉Transformer对于获取长距离的依赖具有良好的性能，对全局特征具有良好的感知能力，能够获取到更多的整体结构的信息。虽然Transformer对全局信息具有强大的特征提取能力，但也存在计算复杂度高的问题，它的计算复杂度与输入图像的尺寸的二次方成正比，尤其当输入图像的分辨率较高时，计算复杂度会成倍增加。除此之外，常规Transformer的长程注意力机制侧重提取全局信息却忽视数据的局部细节，如果将常规Transformer直接用于地震缺失数据重建，会导致重建的地震数据中的断层、尖灭等局部细节丢失，而这些细节往往是地下存在油气储层的标志。
传统的卷积神经网络中使用的卷积大多为静态卷积，它通过使用固定大小的静态卷积核在图像上进行滑动从而提取局部特征，这种单一的静态卷积核应用于所有输入样本，无法根据输入样本的改变而进行相应的调整。动态卷积在常规静态卷积的基础上引入了注意力机制，来增强模型对于更多空间信息的感知。注意力机制可以使得模型更加关注输入到网络中的重要的信息，从而提升模型的准确性。动态卷积层使用n个静态卷积核的线性组合，并通过注意力机制动态加权，这些卷积核的权重就取决于输入特征的注意力，从而使得卷积运算和输入相关。目前，已有的用于地震数据重建的卷积神经网络尚未运用动态卷积。
频率域分析能够提供与空间域分析不同的特征，另外，根据傅里叶理论中的频谱卷积定理，频谱中的每个点都会全局性影响空间域的所有输入特征，这说明频域分析具有非局部感受野和全局特征的表示能力。综合空间域和频率域方法能够使模型提取出更丰富的特征。
发明内容
本发明的目的在于提供一种基于空域频域融合架构的地震数据重建方法，以解决现有技术中，地震数据存在缺失的问题。
一种基于空域频域融合架构的地震数据重建方法，包括准备地震数据集，构建、训练、验证地震数据重建网络模型，进行数据重建；构建地震数据重建网络模型包括，设计基于Transformer、多维动态卷积和空间域、频率域融合方法的编码器-解码器混合架构，编码器由空间域分支和频域分支并行组成，将两个分支的特征融合之后经解码器得到重建后的地震数据；
构建多维动态卷积模块，在空间域分支，将多维动态卷积和交叉条纹Transformer交替使用，在频域分支，设计多维动态卷积密集残差模块；空间域分支和频域分支同步处理输入的特征信息，并经过空域频域特征融合模块FSF进行特征融合，解码器将经过FSF模块融合之后的特征进行重建；
构建空域频域特征融合模块，用多维动态卷积和傅里叶变换单元交互处理来自编码器的空间域特征和频域特征，再将空间域特征和频域特征融合；
构建傅里叶Transformer模块，从频率域提取全局特征；
对解码器进行改进，在解码器中交替使用多维动态卷积、交叉条纹Transformer和傅里叶Transformer，将经过空域频域特征融合模块融合后的特征重建为完整数据。
多维动态卷积包括一个最大池化层、6个1×1卷积层、非线性激活函数Tanh和ReLU；
对于输入的地震数据块X0，设行数为h、列数为w，通道数为C0，经过最大池化、1×1卷积和Tanh，Tanh的输出范围在[-1,1]之间：
；
式中，表示多维动态卷积中的降维输出结果，Conv1×1是卷积核大小为1×1的卷积运算函数，MaxPooling是最大池化操作。
将X同时输入到四个并行维度中计算四种类型的注意力，四种类型的注意力分别是卷积核大小维度注意力、卷积核数量维度注意力、输入通道数维度注意力和输出通道数维度注意力，将得到的注意力系数与卷积核进行线性组合，实现动态加权，得到动态加权结果：
；
式中，表示进行特征拼接，/>表示第/>个维度的权重，/>表示维度数，/>表示矩阵之间的乘法运算，/>分别代表第/>个维度的卷积核数量、卷积核大小、每个卷积的输入通道数和输出通道数的注意力系数。
使用非线性激活函数Tanh计算注意力系数：
；
式中，为注意力系数，/>为注意力得分函数，va是注意力权重向量，是权重矩阵，/>是输入的地震数据中的位置f，/>是偏置项。
将经过动态加权的特征进行特征拼接，再经过一个1×1卷积之后与输入特征进行卷积操作得到多维卷积的输出特征：
；
式中，表示输入特征。
交叉条纹Transformer包含层归一化、交叉条纹自注意力层和多层感知机；
对于X0，利用图像标记化的操作，即通过卷积核大小为7，步长为4的卷积操作将输入的地震数据特征映射为K个标记，每个标记的空间维度为C；交叉条纹Transformer包含具有不同窗口大小和不同条纹宽度的四个阶段组成，相邻阶段之间使用2倍的下采样操作对地震数据特征进行降维，对交叉条纹Transformer进行轻量化，减少标记的数量并使得通道数维度加倍；
输入的地震数据特征的标记产生K个头，将K个头平均分为两组，一组为竖条纹组表现为竖条纹内的自注意力，一组为横条纹组表现为横条纹内的自注意力，分别计算竖条纹和横条纹内的注意力，再将两个并行组的输出连接在一起，即使用特征拼接的方式将竖条纹和横条纹特征拼接在一起；
每个阶段竖条纹和横条纹的宽度一致，四个阶段的条纹宽度分别为4、8、16、32，四个阶段的特征图大小分别为256、128、64、32，最后一个阶段的条纹宽度与特征图宽度一致。
交叉条纹自注意力层中，将长为H，宽为W，通道数为C的X均匀的分割成不相互重叠的竖条纹，每个竖条纹中包含着sw×h个标记，sw为条纹的宽度，通过调整条纹的宽度调节计算的自注意力的范围和计算复杂度：
；/>；/>；
式中，表示/>中的竖条纹，/>是将整个特征图平均分成等宽的竖条纹的数量，/>是求取条纹内注意力图的函数，/>是激活函数，/>、/>、/>分别为注意力机制中的三个投影矩阵，dk是K的空间维度，/>是所有竖条纹内注意力的合集；
交叉条纹Transformer的自注意力层求取全局注意力图的计算复杂度为。
多维动态卷积密集残差模块包含N组串联的多维动态卷积和非线性激活函数ReLU，相邻两组内通过残差进行连接，多维动态卷积密集残差模块前先进行傅里叶变换，将地震信号从空间域转换到频域，将频域特征送入多维动态卷积密集残差模块中：
；
；
；
式中，X1、X2、X3、X4分别表示经过4组多维动态残差连接的输出，Y表示最终经过多维动态卷积密集残差模块的输出，MDConv表示多维动态卷积，ReLU表示非线性激活函数。
空域频域特征融合模块FSF包含有两个分支，分别对应于空间域分支和频域分支；
频域分支包含有3个全局平均池化、3×3的多维动态卷积和层归一化以及非线性激活函数ReLU；空间域分支包含有三个模块，分别是3×3的多维动态卷积层、傅里叶变换单元和层归一化以及非线性激活函数ReLU；
FSF的计算如下：
；
式中，，/>是经过空域频域特征融合模块之后的频域分支特征和空间域分支特征，Norm为归一化层，MDConv3×3表示卷积核为3×3的多维动态卷积，AvePooling为全局平均池化操作，Funit为傅里叶变换单元；
傅里叶Transformer包含层归一化、傅里叶变换自注意力层和多层感知机，X经过层归一化，然后分别通过傅里叶查询投影、傅里叶键投影和傅里叶数值投影得到：
；
式中，Q F 、K F 和V F 分别是注意力机制中的三个矩阵，IFFT2d为二维傅里叶逆变换，FFT2d为二维傅里叶变换，MDConv为多维动态卷积；
改变傅里叶查询投影、傅里叶键投影和傅里叶数值投影得到Q F 、K F 和V F 的形状：
；
求取傅里叶全局注意力图：
；
式中，Attention是求取傅里叶注意力图的函数，d k 是K的空间维度。
完成地震数据重建网络模型的构建后进行训练，将训练集中的缺损数据输入到地震数据重建网络模型中，把重建后的地震数据与完整地震数据进行对比，同时计算二者的误差，如果误差大于设置的阈值，就反向传播更新参数，反复迭代直至误差小于设置的阈值，停止更新参数并保存网络参数，采用Adam算法进行参数求解，在误差反向传播时根据梯度信息对参数进行更新；
训练集中的缺损数据输入到训练后的地震数据重建网络模型中，把重建后的地震数据与完整地震数据进行对比，同时计算二者的误差，如果误差大于设置的阈值，返回进行地震数据重建网络模型的训练，如果误差小于设置的阈值，完成地震数据重建网络模型的验证；
把测试集中的缺损数据输入到已经训练好并验证过的地震数据重建网络模型中，得到重建后的地震数据。
相对比现有技术，本发明具有以下有益效果：本发明将Transformer、多维动态卷积和空间域、频率域融合方法相结合，综合提取地震数据的空间域和频率域的局部和全局特征，来提高地震缺失数据的重建效果。具体而言，利用交叉条纹Transformer和多维动态卷积分别提取输入数据的全局特征和局部特征并构成空间域分支，同时将多维动态卷积组成的密集残差模块通过傅里叶变换构成频域分支来获取输入数据的频域特征，之后设计了空域频域特征融合模块将空间域特征和频域特征进行融合，然后设计了傅里叶Transformer模块，并将多维动态卷积、交叉条纹Transformer与傅里叶Transformer交替使用来构建解码器完成地震数据重建。其次，采用交叉条纹策略对Transformer进行改进，来减小自注意力层计算的复杂度和参数量，综合利用多维动态卷积、交叉条纹Transformer与傅里叶Transformer能更好的适应空间域和频域融合之后的特征，实现更好的重建结果。
附图说明
图1所示为本发明基于Transformer、多维动态卷积和空间域、频域融合方法的混合架构总体结构图；
图2所示为本发明多维动态卷积模块结构图；
图3所示为本发明交叉条纹Transformer模块结构图；
图4所示为本发明多维动态卷积密集残差模块结构图；
图5所示为本发明空域频域特征融合模块结构图；
图6所示为本发明傅里叶变换单元模块结构图；
图7所示为本发明空间域频域交替Transformer模块结构图；
图8所示为本发明基于Transformer、多维动态卷积和空间域、频域融合方法的混合架构总体流程图；
图9所示为本发明训练步骤流程图；
图10所示为本发明地震数据重建步骤流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于空域频域融合架构的地震数据重建方法，包括准备地震数据集，构建、训练、验证地震数据重建网络模型，进行数据重建；构建地震数据重建网络模型包括，设计基于Transformer、多维动态卷积和空间域、频率域融合方法的编码器-解码器混合架构，编码器由空间域分支和频域分支并行组成，将两个分支的特征融合之后经解码器得到重建后的地震数据；
构建多维动态卷积模块，在空间域分支，将多维动态卷积和交叉条纹Transformer交替使用，在频域分支，设计多维动态卷积密集残差模块；空间域分支和频域分支同步处理输入的特征信息，并经过空域频域特征融合模块FSF进行特征融合，解码器将经过FSF模块融合之后的特征进行重建；
构建空域频域特征融合模块，用多维动态卷积和傅里叶变换单元交互处理来自编码器的空间域特征和频域特征，再将空间域特征和频域特征融合；
构建傅里叶Transformer模块，从频率域提取全局特征；
对解码器进行改进，在解码器中交替使用多维动态卷积、交叉条纹Transformer和傅里叶Transformer，将经过空域频域特征融合模块融合后的特征重建为完整数据。
多维动态卷积包括一个最大池化层、6个1×1卷积层、非线性激活函数Tanh和ReLU；
对于输入的地震数据块X0，设行数为h、列数为w，通道数为C0，经过最大池化、1×1卷积和Tanh，Tanh的输出范围在[-1,1]之间：
；
式中，表示多维动态卷积中的降维输出结果，Conv1×1是卷积核大小为1×1的卷积运算函数，MaxPooling是最大池化操作。
将X同时输入到四个并行维度中计算四种类型的注意力，四种类型的注意力分别是卷积核大小维度注意力、卷积核数量维度注意力、输入通道数维度注意力和输出通道数维度注意力，将得到的注意力系数与卷积核进行线性组合，实现动态加权，得到动态加权结果：
；
式中，表示进行特征拼接，/>表示第/>个维度的权重，/>表示维度数，/>表示矩阵之间的乘法运算，/>分别代表第/>个维度的卷积核数量、卷积核大小、每个卷积的输入通道数和输出通道数的注意力系数。
使用非线性激活函数Tanh计算注意力系数：
；
式中，为注意力系数，/>为注意力得分函数，va是注意力权重向量，是权重矩阵，/>是输入的地震数据中的位置f，/>是偏置项。
将经过动态加权的特征进行特征拼接，再经过一个1×1卷积之后与输入特征进行卷积操作得到多维卷积的输出特征：
；
式中，表示输入特征。
交叉条纹Transformer包含层归一化、交叉条纹自注意力层和多层感知机；
对于X0，利用图像标记化的操作，即通过卷积核大小为7，步长为4的卷积操作将输入的地震数据特征映射为K个标记，每个标记的空间维度为C；交叉条纹Transformer包含具有不同窗口大小和不同条纹宽度的四个阶段组成，相邻阶段之间使用2倍的下采样操作对地震数据特征进行降维，对交叉条纹Transformer进行轻量化，减少标记的数量并使得通道数维度加倍；
输入的地震数据特征的标记产生K个头，将K个头平均分为两组，一组为竖条纹组表现为竖条纹内的自注意力，一组为横条纹组表现为横条纹内的自注意力，分别计算竖条纹和横条纹内的注意力，再将两个并行组的输出连接在一起，即使用特征拼接的方式将竖条纹和横条纹特征拼接在一起；
每个阶段竖条纹和横条纹的宽度一致，四个阶段的条纹宽度分别为4、8、16、32，四个阶段的特征图大小分别为256、128、64、32，最后一个阶段的条纹宽度与特征图宽度一致。
交叉条纹自注意力层中，将长为H，宽为W，通道数为C的X均匀的分割成不相互重叠的竖条纹，每个竖条纹中包含着sw×h个标记，sw为条纹的宽度，通过调整条纹的宽度调节计算的自注意力的范围和计算复杂度：
；/>；/>；
式中，表示/>中的竖条纹，/>是将整个特征图平均分成等宽的竖条纹的数量，/>是求取条纹内注意力图的函数，/>是激活函数，/>、/>、/>分别为注意力机制中的三个投影矩阵，dk是K的空间维度，/>是所有竖条纹内注意力的合集；
交叉条纹Transformer的自注意力层求取全局注意力图的计算复杂度为。
多维动态卷积密集残差模块包含N组串联的多维动态卷积和非线性激活函数ReLU，相邻两组内通过残差进行连接，多维动态卷积密集残差模块前先进行傅里叶变换，将地震信号从空间域转换到频域，将频域特征送入多维动态卷积密集残差模块中：
；
；
；
式中，X1、X2、X3、X4分别表示经过4组多维动态残差连接的输出，Y表示最终经过多维动态卷积密集残差模块的输出，MDConv表示多维动态卷积，ReLU表示非线性激活函数。
空域频域特征融合模块FSF包含有两个分支，分别对应于空间域分支和频域分支；
频域分支包含有3个全局平均池化、3×3的多维动态卷积和层归一化以及非线性激活函数ReLU；空间域分支包含有三个模块，分别是3×3的多维动态卷积层、傅里叶变换单元和层归一化以及非线性激活函数ReLU；
FSF的计算如下：
；
式中，，/>是经过空域频域特征融合模块之后的频域分支特征和空间域分支特征，Norm为归一化层，MDConv3×3表示卷积核为3×3的多维动态卷积，AvePooling为全局平均池化操作，Funit为傅里叶变换单元；
傅里叶Transformer包含层归一化、傅里叶变换自注意力层和多层感知机，X经过层归一化，然后分别通过傅里叶查询投影、傅里叶键投影和傅里叶数值投影得到：
；
式中，Q F 、K F 和V F 分别是注意力机制中的三个矩阵，IFFT2d为二维傅里叶逆变换，FFT2d为二维傅里叶变换，MDConv为多维动态卷积；
改变傅里叶查询投影、傅里叶键投影和傅里叶数值投影得到Q F 、K F 和V F 的形状：
；
求取傅里叶全局注意力图：
；
式中，Attention是求取傅里叶注意力图的函数，d k 是K的空间维度。
完成地震数据重建网络模型的构建后进行训练，将训练集中的缺损数据输入到地震数据重建网络模型中，把重建后的地震数据与完整地震数据进行对比，同时计算二者的误差，如果误差大于设置的阈值，就反向传播更新参数，反复迭代直至误差小于设置的阈值，停止更新参数并保存网络参数，采用Adam算法进行参数求解，在误差反向传播时根据梯度信息对参数进行更新；
训练集中的缺损数据输入到训练后的地震数据重建网络模型中，把重建后的地震数据与完整地震数据进行对比，同时计算二者的误差，如果误差大于设置的阈值，返回进行地震数据重建网络模型的训练，如果误差小于设置的阈值，完成地震数据重建网络模型的验证；
把测试集中的缺损数据输入到已经训练好并验证过的地震数据重建网络模型中，得到重建后的地震数据。
本发明具体实施中，提供基于Transformer、多维动态卷积和空间域、频域融合方法的混合架构用于地震数据重建，以解决现有技术中，地震数据重建方法没有充分挖掘和利用地震数据的全局信息、局部信息和频域信息，模型计算复杂度高，重建结果不佳的问题。
本发明将Transformer、多维动态卷积和空间域、频域融合方法相结合，利用Transformer和多维动态卷积分别提取输入信息的全局特征和局部特征并构成空间域分支，同时将多维动态卷积组成的密集残差模块加入到快速傅里叶变换中构成频域分支获取输入地震信息的频域特征，之后将空间域特征和频域特征进行融合用于地震数据重建。其次对Transformer进行改进，来减小自注意力机制计算的复杂度和参数量，同时更好的适应空间域和频域融合之后的特征，实现更好的重建结果。本发明所述的基于Transformer、多维动态卷积和空间域、频域融合方法的混合架构是一种端到端的网络模型，输入为缺失受损的地震数据，输出为重建后的地震数据。
本发明所设计的基于Transformer、多维动态卷积和空间域、频率域融合方法的混合架构是一种编码器-解码器架构，编码器部分由空间域分支和频域分支并行组成，将两个分支的特征融合之后经解码器得到重建后的地震数据。为了对输入信息多个维度的特征进行获取，本发明将传统卷积神经网络中的静态卷积替换为自主设计的多维动态卷积，为模型提供更丰富的空间信息。在空间域分支，为了增强提取全局特征和局部特征的能力，本发明将多维动态卷积和交叉条纹Transformer交替使用。在频域分支部分，为了提取丰富的频域特征，本发明设计多维动态卷积密集残差模块。空间域分支和频域分支同步处理输入的特征信息，并经过空域频域特征融合模块进行特征融合，简称FSF模块。解码器将经过FSF模块融合之后的特征进行重建，为了兼顾融合了空间域和频域的特征，本发明对解码器中的Transformer进一步进行了改进，交替使用交叉条纹Transformer和傅里叶Transformer，简称FSCT模块。
本发明中的Transformer是对常规视觉Transformer进行了自注意力改进，首先编码器中空间域分支的Transformer使用的是基于交叉条纹形式的自注意力机制，本发明在此基础上进行了轻量化的改进。本发明的交叉条纹Transformer是在计算全局自注意力的过程中通过下采样的方式减小特征图的尺寸同时增大窗口中条纹的宽度，这样与常规视觉Transformer相比，本发明中的交叉条纹Transformer在保持计算复杂度较低的过程中又得到了全局信息特征。对于一个行数为h、列数为w，通道数为C的地震数据块，常规视觉Transformer是先将其通过三个投影矩阵得到独立的查询矩阵Q、键矩阵K、值矩阵V，然后将K矩阵进行转置与Q矩阵进行相乘，再将这个相乘后的矩阵与V矩阵相乘得到注意力图，由于这3个矩阵的行数均为h、列数均为w、通道数均为C，所以上述Q、K的转置、V这3个矩阵连续相乘的运算会带来的计算量，这一做法非常耗时、耗显存。本发明的交叉条纹形式的自注意力机制的Transformer是将输入特征分割成不同大小的窗口和不同宽度的条纹来计算自注意力，从而实现对Transformer的轻量化处理。但其中条纹的宽度必然会影响感受野的大小，所以本发明在解码器中在不同阶段使用不同大小的窗口和条纹宽度来解决这一问题。根据常规视觉Transformer中的多头自注意力机制，输入特征经过线性投影之后会产生K个头，本发明将这K个头平均分成两组，第一组的头表现出竖条纹的自注意力，第二组的头表现出横条纹的自注意力，最后将这组的输出经过特征拼接的操作进行连接。其次解码器中的Transformer，本发明设计了空间域频域交替的Transformer结构，简称为FSCT模块。FSCT模块将交叉条纹Transformer和傅里叶Transformer串联交替使用，傅里叶Transformer通过将输入特征经过傅里叶变换进行投影，同样得到三个投影矩阵Q F 、K F 、V F ，并对其进行形状改变，之后自注意力的计算与传统的视觉Transformer中的计算方式一致。
本发明中使用的多维动态卷积是对动态卷积进行改进，通过给卷积核空间的四个维度卷积核数量、卷积核大小、每个卷积的输入通道数和输出通道数赋予卷积核动态属性，以并行方式沿着卷积核空间的四个维度学习卷积核的四种类型的注意力，这四种类型的注意力是相互补充的，将其应用到相应的卷积核中可以大大增强传统卷积神经网络中静态卷积操作提取局部特征的能力。多维动态卷积使用n个卷积核的线性组合，并通过注意力机制进行动态加权，使得卷积运算和输入特征相关。
为了使得经过多维动态卷积之后输出特征大小与输入特征大小一致，本发明将加权得到的动态注意力权重特征再经过一个1×1卷积之后将特征图大小投影至与输入特征图大小一致，最后经过卷积得到多维动态卷积的结果。
本发明中的空间域、频域融合方法将来自并行的空间域分支和频域分支的特征进行融合，因为空间域分支和频域分支可以互补的获取不同的特征信息，所以融合空间域和频域的特征能够利用更加丰富的特征信息重建地震数据。对于频域分支，本发明首先将频域分支的特征经过三次全局平均池化和3×3多维动态卷积对频域特征图进行降分辨率的操作，再经过一个归一化和非线性激活函数ReLU操作与空间域分支的特征图大小相匹配。对于空间域分支，本发明是将空间域特征首先经3×3多维动态卷积之后通过一个傅里叶变换单元对强化频域特征，再经过一个归一化和非线性激活函数ReLU操作，最后将空间域分支和频域分支特征进行相加得到融合之后的特征。
本发明需准备三种数据集：训练集、验证集和测试集，三者的比例为3：1：1。其中，训练集负责训练重建模型，验证集负责调整重建模型，测试集负责测试模型的重建效果。训练集的构建方法为：从某工区的地震数据中任意截取多块具有相同维度的地震数据块，其中每块地震数据的行数为h、列数为w，建议h和w大于256。验证集的构建方法与训练集相同，只是验证集中的数据块需与训练集中的数据块不相同。测试集为从该工区截取的除训练集和验证集之外的缺损数据块。
本发明所设计的基于Transformer、多维动态卷积和空间域、频域融合方法的混合架构是一种编码器-解码器架构，编码器部分由空间域分支和频域分支并行组成，将两个分支的特征融合之后经解码器得到重建后的地震数据。为了对输入信息多个维度的特征进行获取，本发明设计了多维动态卷积模块代替传统卷积神经网络中的静态卷积，为模型提供更丰富的空间信息。在空间域分支，为了增强提取全局特征和局部特征的能力，本发明将多维动态卷积和交叉条纹Transformer交替使用来获取丰富的空间域信息。在频域分支部分，本发明设计了多维动态卷积密集残差模块来提取丰富的频域特征。空间域分支和频域分支同步处理输入的特征信息。最后，本发明设计了一个空域频域特征融合模块将来自空间域分支和频域分支的特征进行融合。空域频域特征融合模块简称FSF模块。解码器将经过FSF模块融合之后的特征重建为完整的地震数据。为了兼顾融合后的特征中的空间域和频率域信息，本发明设计了傅里叶Transformer模块，多维动态卷积与交叉条纹Transformer和傅里叶Transformer模块交替使用构成解码器将空域频域特征融合模块的输出特征重建为完整的地震数据。
本发明采用最大池化而不是平均池化进行降维，因为平均池化有利于保留地震数据的整体特征，突出较好的背景信息，而最大池化倾向于保留数据的细节特征，并且地震数据重建的一个重要目的就是重建地震数据的细节特征。具体来说，对于输入的地震数据块X 0 ，设其行数为h、列数为w，通道数为C 0 ，首先经过最大池化，1×1卷积和一个非线性激活函数Tanh，最大池化可以在降维的同时保留地震数据中的峰值数据，有利于保留地震数据中的重要特征。
交叉条纹Transformer能够从整体的角度对输入的地震数据的全局特征进行捕获，同时通过交叉条纹的形式减少了原始Transformer中的计算复杂度。
常规Transformer的自注意力层求取全局注意力图的计算复杂度为。本发明的交叉条纹Transformer的自注意力层求取全局注意力图的计算复杂度为/>。/>是条纹的宽度，本发明中针对四个阶段的交叉条纹Transformer中分别设置为4、8、16、32。本发明相较目前的交叉条纹Transformer，将投影头进行拆分为两个部分，分别为横条纹和竖条纹部分，在这两个部分分别做交叉条纹自注意力计算，最后将横条纹和竖条纹的部分通过特征拼接进行合并。同时，本发明还在不同的交叉条纹Transformer模块之间进行下采样，在不同阶段使用不同大小的特征图，进一步来减小交叉条纹的计算复杂度。对于一个从地震数据记录中提取的长为32、宽为32、通道数为1的特征张量，常规自注意力的计算复杂度为2101248，本发明中的当条纹的宽度为4、8、16、32时，交叉条纹的计算复杂度分别为266240、528384、1052672、2101248。可以发现，交叉条纹自注意力有效降低了计算复杂度，同时可以通过改变条纹的宽度来调整计算的自注意力的范围，更加灵活的提取全局特征。
多维动态卷积密集残差模块将经过傅里叶变换，傅里叶变换可以将地震信号从空间域转换到频率域，将频域特征送入多维动态卷积密集残差模块中可以使网络更好的学习地震信号的频域特征，有助于提高对地震信号的表征能力。同时残差连接通过将输入数据X直接与输出相加，有助于减少信息在网络中的丢失，还可以有效避免网络训练过程中出现梯度爆炸的问题，使得网络更容易训练。
FSF将解码器中的空间域分支和频域分支的特征信息进行融合，因为空间域分支和频域分支互补地解决了不同的问题，所以本发明提出该模块来聚合空间域和频域特征。FSF中采用全局平均池化是因为平均池化会计算整个频域特征的均值，可以保留频域特征的主要信息，有助于提取地震数据的全局特征。多维动态卷积可以提取更加丰富的特征信息，有助于实现对地震数据的精确重建。空间域分支包含有三个模块，分别是3×3的多维动态卷积层、傅里叶变换单元和层归一化以及非线性激活函数ReLU。傅里叶变换可以将时域信号转换为频域表示，从而提取信号的频域特征，突出信号的频率成分，将信号在频域上进行表征的方法，有助于提高网络对信号特征的分辨能力。本发明设计了一个傅里叶变换单元应用于空间域分支，目的是为了让网络模型更好的感知空间域分支的频域特征信息，为模型提供更加丰富的信息。
本发明傅里叶变换单元的功能是将空间特征信息经过傅里叶变换到频率域，对频域数据进行高效更新，最后再经过傅里叶逆变换恢复到原始的空间域中。
本发明将经过空域频域融合（FSF）模块融合之后的地震特征信息送入解码器中进行地震数据重建。本发明中解码器主要包括上采样操作、多维动态卷积模块和空间域频域交替Transformer模块，上采样的目的是为了将经过空间域频域融合之后特征进行维度增加，以和输入的缺损地震数据大小相匹配。本发明中的空间域频域交替Transformer模块结构如图7所示。该模块中包含两个交替的Transformer模块，分别是与解码器中一致的交叉条纹Transformer和重新设计的傅里叶Transformer，简称FSCT模块。FSCT模块将交叉条纹Transformer和傅里叶Transformer串联交替使用，可以有效捕获来自解码器中的空间特征信息和频域特征信息，可以有效捕获长距离依赖关系，最大程度利用有效信息来对缺损地震数据进行重建。本发明傅里叶Transformer通过将输入特征经过傅里叶变换进行投影，同样得到三个投影矩阵Q F 、K F 、V F ，并对其进行形状改变，之后自注意力的计算与传统的视觉Transformer中的计算方式一致。传统的视觉Transformer方法中，通常是从同一输入考虑查询、键和值，而不需要单独的处理来生成它们。本发明中傅里叶Transformer主要是对传统的视觉Transformer中的自注意力层的计算进行了改进，本发明将传统视觉Transformer中经过层归一化之后的投影加入了傅里叶变换和多维动态卷积。傅里叶变换能够更好的感知来自解码器中的地震信息中的频域特征，为之后的重建过程提供更加丰富的信息。具体来说，本发明将来自空域频域特征融合模块的信息首先经过2倍上采样进行特征信息初步扩大，然后将其送入空间域频域交替Transformer模块中。该模块包含两个串联的Transformer模块，分别是交叉条纹Transformer和傅里叶Transformer，交叉条纹Transformer的计算方式与解码器中的一致，这里不再进行详述。对于傅里叶Transformer，主要包括层归一化、傅里叶变换自注意力层、和多层感知机组成。本发明傅里叶变换自注意力层的计算方式如下：假设来自上一个交叉窗口Transformer的地震特征为X，其中X具有的长为h，宽为w，特征通道数为C。首先输入特征X经过层归一化，然后分别通过傅里叶查询投影、傅里叶键投影和傅里叶数值投影得到Q F 、K F 和V F 。
本发明经过傅里叶变换和多维动态卷积处理之后形成的特征图，包含有更多的频谱信息和空间信息，可以为Transformer提供更加有效的特征信息，进一步提高Transformer的性能。本发明中提出的空间域频域交替Transformer模块通过把交叉条纹Transformer和傅里叶Transformer进行串联交替运作，可以有效捕获来自解码器中的空间特征信息和频域特征信息，可以有效捕获长距离依赖关系，最大程度利用有效信息来对缺损地震数据进行重建。
将训练集中的缺损数据输入到构建好的网络模型中。网络的输出为本发明所述网络重建后的地震数据，把该重建后的地震数据与完整地震数据进行对比，同时计算二者的误差，如果误差大于设置的阈值（阈值大小根据实际情况设定），就反向传播更新参数。反复迭代直至误差小于设置的阈值，停止更新参数并保存网络参数。本发明采用Adam算法进行参数求解，在误差反向传播时，根据梯度信息对参数进行更新。损失函数为：
；
式中，为本发明的重建网络的预测结果，/>为完整的地震数据，/>为批量处理数据数量。
将验证集中的缺损地震数据块输入构建好的网络模型，网络的输出为本发明所述网络重建后的地震数据，把重建后的数据与完整地震数据进行比对，同时计算二者的误差，如果误差小于设置的阈值（阈值大小根据实际情况设定），则证明训练的网络参数已到达最优，可以进行测试地震数据重建。如果误差大于设定的阈值，则证明训练的网络参数未达到最优，返回重新训练网络，直到验证阶段能达到很好的重建效果。
把测试集中的缺损数据输入到已经训练好并验证过的本发明所述网络中，网络的输出即为用本发明所述经网络重建后的地震数据。
本发明中，基于Transformer、多维动态卷积和空间域、频域融合方法的混合架构总体结构如图1所示，将数据集按通道进行拆分为两支，一支进行傅里叶变换，进入四个多维动态卷积密集残差模块，然后再作傅里叶逆变换；另一支经过四个多维动态卷积和交叉条纹Transformer模块的结合，和傅里叶逆变换结果一起输入FSF模块，再经过多个多维动态卷积和FSCT模块（交替使用交叉条纹Transformer和傅里叶Transformer简称FSCT模块）。本发明多维动态卷积模块结构如图2所示，输入特征一支进行卷积操作，一支进行最大池化、1×1卷积、激活函数Tanh、多个1×1卷积和激活函数ReLU，分别结合四个注意力系数进行加权（权重为W1、W2……Wn），最后经过特征拼接1×1卷积和卷积后的输入特征一起作为输出特征；本发明交叉条纹Transformer模块结构如图3所示，拆分头形成多个具有不同条纹宽度和不同条纹方向的窗口，拼接后的特征进入层归一化、交叉条纹自注意力层、层归一化和多层感知机进行处理。
多维动态卷积密集残差模块结构如图4所示，包括4层多维动态卷积和激活函数ReLU，最后一层是1×1卷积和激活函数Tanh；本发明空间域、频域特征融合模块结构如图5所示，频域分支的输出进行3个全局平均池化和3×3多维动态卷积，进行归一化ReLU激活函数，同时空间域分支的输出进行3×3动态卷积，傅里叶变换，最后进行归一化ReLU激活函数，和另一支进行特征融合并输出；傅里叶变换单元模块结构如图6所示，包括卷积归一化层和ReLU激活函数，二维傅里叶变换，卷积归一化层和ReLU激活函数，二维傅里叶逆变换，最后连接一个1×1卷积；本发明空间域频域交替Transformer模块结构如图7所示，首先进行层归一化和交叉条纹注意力层，然后进行层归一化和多层感知机，再进行层归一化和傅里叶变换自注意力层，然后进行层归一化和多层感知机，分别进行三个傅里叶查询投影、傅里叶键投影、傅里叶值投影，将三个矩阵进行形状变换，然后其中2个输入激活函数，和另一个融合后输出；本发明基于Transformer、多维动态卷积和空间域、频率域融合方法的混合架构总体流程如图8所示，包括准备数据集，构架、训练、验证网络模型，若误差大于阈值则重新训练，若误差小于阈值，就重建测试集数据；本发明训练步骤流程如图9所示，初始化网络模型参数，将完整数据和不同缺失类型的掩膜训练集输入到网络中进行迭代，保存网络模型参数；本发明地震数据重建步骤流程如图10所示，将训练集中缺失的数据输入到训练好的神经网络模型中，输出重建后的数据。
以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于空域频域融合架构的地震数据重建方法，其特征在于，包括准备地震数据集，构建、训练、验证地震数据重建网络模型，进行数据重建；构建地震数据重建网络模型包括，设计基于Transformer、多维动态卷积和空间域、频率域融合方法的编码器-解码器混合架构，编码器由空间域分支和频域分支并行组成，将两个分支的特征融合之后经解码器得到重建后的地震数据；
构建多维动态卷积模块，在空间域分支，将多维动态卷积和交叉条纹Transformer交替使用，在频域分支，设计多维动态卷积密集残差模块；空间域分支和频域分支同步处理输入的特征信息，并经过空域频域特征融合模块FSF进行特征融合，解码器将经过FSF模块融合之后的特征进行重建；
构建空域频域特征融合模块，用多维动态卷积和傅里叶变换单元交互处理来自编码器的空间域特征和频域特征，再将空间域特征和频域特征融合；
构建傅里叶Transformer模块，从频率域提取全局特征；
对解码器进行改进，在解码器中交替使用多维动态卷积、交叉条纹Transformer和傅里叶Transformer，将经过空域频域特征融合模块融合后的特征重建为完整数据；
多维动态卷积包括一个最大池化层、6个1×1卷积层、非线性激活函数Tanh和ReLU；
对于输入的地震数据块X0，设行数为h、列数为w，通道数为C0，经过最大池化、1×1卷积和Tanh，Tanh的输出范围在[-1,1]之间：
；
式中，表示多维动态卷积中的降维输出结果，Conv1×1是卷积核大小为1×1的卷积运算函数，MaxPooling是最大池化操作；
将X同时输入到四个并行维度中计算四种类型的注意力，四种类型的注意力分别是卷积核大小维度注意力、卷积核数量维度注意力、输入通道数维度注意力和输出通道数维度注意力，将得到的注意力系数与卷积核进行线性组合，实现动态加权，得到动态加权结果：
；
式中，表示进行特征拼接，/>表示第/>个维度的权重，/>表示维度数，/>表示矩阵之间的乘法运算，/>分别代表第/>个维度的卷积核数量、卷积核大小、每个卷积的输入通道数和输出通道数的注意力系数；
交叉条纹Transformer包含层归一化、交叉条纹自注意力层和多层感知机；
对于X0，利用图像标记化的操作，即通过卷积核大小为7，步长为4的卷积操作将输入的地震数据特征映射为K个标记，每个标记的空间维度为C；交叉条纹Transformer包含具有不同窗口大小和不同条纹宽度的四个阶段组成，相邻阶段之间使用2倍的下采样操作对地震数据特征进行降维，对交叉条纹Transformer进行轻量化，减少标记的数量并使得通道数维度加倍；
输入的地震数据特征的标记产生K个头，将K个头平均分为两组，一组为竖条纹组表现为竖条纹内的自注意力，一组为横条纹组表现为横条纹内的自注意力，分别计算竖条纹和横条纹内的注意力，再将两个并行组的输出连接在一起，即使用特征拼接的方式将竖条纹和横条纹特征拼接在一起；
每个阶段竖条纹和横条纹的宽度一致，四个阶段的条纹宽度分别为4、8、16、32，四个阶段的特征图大小分别为256、128、64、32，最后一个阶段的条纹宽度与特征图宽度一致。
2.根据权利要求1所述的一种基于空域频域融合架构的地震数据重建方法，其特征在于，使用非线性激活函数Tanh计算注意力系数：
；
式中，为注意力系数，/>为注意力得分函数，va是注意力权重向量，/>是权重矩阵，/>是输入的地震数据中的位置f，/>是偏置项。
3.根据权利要求2所述的一种基于空域频域融合架构的地震数据重建方法，其特征在于，将经过动态加权的特征进行特征拼接，再经过一个1×1卷积之后与输入特征进行卷积操作得到多维卷积的输出特征：
；
式中，表示输入特征。
4.根据权利要求3所述的一种基于空域频域融合架构的地震数据重建方法，其特征在于，交叉条纹自注意力层中，将长为H，宽为W，通道数为C的X均匀的分割成不相互重叠的竖条纹，每个竖条纹中包含着sw×h个标记，sw为条纹的宽度，通过调整条纹的宽度调节计算的自注意力的范围和计算复杂度：
；/>；/>；
式中，表示/>中的竖条纹，/>是将整个特征图平均分成等宽的竖条纹的数量，/>是求取条纹内注意力图的函数，/>是激活函数，/>、/>、/>分别为注意力机制中的三个投影矩阵，dk是K的空间维度，/>是所有竖条纹内注意力的合集；
交叉条纹Transformer的自注意力层求取全局注意力图的计算复杂度为。
5.根据权利要求4所述的一种基于空域频域融合架构的地震数据重建方法，其特征在于，多维动态卷积密集残差模块包含N组串联的多维动态卷积和非线性激活函数ReLU，相邻两组内通过残差进行连接，多维动态卷积密集残差模块前先进行傅里叶变换，将地震信号从空间域转换到频域，将频域特征送入多维动态卷积密集残差模块中：
；
；
；
式中，X1、X2、X3、X4分别表示经过4组多维动态残差连接的输出，Y表示最终经过多维动态卷积密集残差模块的输出，MDConv表示多维动态卷积，ReLU表示非线性激活函数。
6.根据权利要求5所述的一种基于空域频域融合架构的地震数据重建方法，其特征在于，空域频域特征融合模块FSF包含有两个分支，分别对应于空间域分支和频域分支；
频域分支包含有3个全局平均池化、3×3的多维动态卷积和层归一化以及非线性激活函数ReLU；空间域分支包含有三个模块，分别是3×3的多维动态卷积层、傅里叶变换单元和层归一化以及非线性激活函数ReLU；
FSF的计算如下：
；
式中，，/>是经过空域频域特征融合模块之后的频域分支特征和空间域分支特征，Norm为归一化层，MDConv3×3表示卷积核为3×3的多维动态卷积，AvePooling为全局平均池化操作，Funit为傅里叶变换单元；
傅里叶Transformer包含层归一化、傅里叶变换自注意力层和多层感知机，X经过层归一化，然后分别通过傅里叶查询投影、傅里叶键投影和傅里叶数值投影得到：
；
式中，Q F 、K F 和V F 分别是注意力机制中的三个矩阵，IFFT2d为二维傅里叶逆变换，FFT2d为二维傅里叶变换，MDConv为多维动态卷积；
改变傅里叶查询投影、傅里叶键投影和傅里叶数值投影得到Q F 、K F 和V F 的形状：
；
求取傅里叶全局注意力图：
；
式中，Attention是求取傅里叶注意力图的函数，d k 是K的空间维度。
7.根据权利要求6所述的一种基于空域频域融合架构的地震数据重建方法，其特征在于，完成地震数据重建网络模型的构建后进行训练，将训练集中的缺损数据输入到地震数据重建网络模型中，把重建后的地震数据与完整地震数据进行对比，同时计算二者的误差，如果误差大于设置的阈值，就反向传播更新参数，反复迭代直至误差小于设置的阈值，停止更新参数并保存网络参数，采用Adam算法进行参数求解，在误差反向传播时根据梯度信息对参数进行更新；
训练集中的缺损数据输入到训练后的地震数据重建网络模型中，把重建后的地震数据与完整地震数据进行对比，同时计算二者的误差，如果误差大于设置的阈值，返回进行地震数据重建网络模型的训练，如果误差小于设置的阈值，完成地震数据重建网络模型的验证；
把测试集中的缺损数据输入到已经训练好并验证过的地震数据重建网络模型中，得到重建后的地震数据。
CN202410438818.5A 2024-04-12 2024-04-12 一种基于空域频域融合架构的地震数据重建方法 Active CN118033732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410438818.5A CN118033732B (zh) 2024-04-12 2024-04-12 一种基于空域频域融合架构的地震数据重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410438818.5A CN118033732B (zh) 2024-04-12 2024-04-12 一种基于空域频域融合架构的地震数据重建方法

Publications (2)

Publication Number Publication Date
CN118033732A CN118033732A (zh) 2024-05-14
CN118033732B true CN118033732B (zh) 2024-06-07

Family

ID=90991630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410438818.5A Active CN118033732B (zh) 2024-04-12 2024-04-12 一种基于空域频域融合架构的地震数据重建方法

Country Status (1)

Country Link
CN (1) CN118033732B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118521837B (zh) * 2024-07-23 2024-09-20 诺比侃人工智能科技(成都)股份有限公司 一种接触网缺陷智能检测模型的快速迭代方法
CN118710507A (zh) * 2024-08-30 2024-09-27 中国石油大学(华东) 基于空频融合的Mamba混合架构的水下图像增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820341A (zh) * 2022-03-17 2022-07-29 西北工业大学 一种基于增强Transformer的图像盲去噪方法及系统
CN116794602A (zh) * 2023-05-26 2023-09-22 江苏科技大学 一种应用于干扰环境下的毫米波雷达动态手势识别方法
CN117473411A (zh) * 2023-07-14 2024-01-30 华北电力大学（保定） 基于改进Transformer模型的轴承寿命预测方法
WO2024040941A1 (zh) * 2022-08-25 2024-02-29 华为云计算技术有限公司 神经网络结构搜索方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12033075B2 (en) * 2021-06-02 2024-07-09 Apple Inc. Training transformer neural networks to generate parameters of convolutional neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820341A (zh) * 2022-03-17 2022-07-29 西北工业大学 一种基于增强Transformer的图像盲去噪方法及系统
WO2024040941A1 (zh) * 2022-08-25 2024-02-29 华为云计算技术有限公司 神经网络结构搜索方法、装置及存储介质
CN116794602A (zh) * 2023-05-26 2023-09-22 江苏科技大学 一种应用于干扰环境下的毫米波雷达动态手势识别方法
CN117473411A (zh) * 2023-07-14 2024-01-30 华北电力大学（保定） 基于改进Transformer模型的轴承寿命预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于BERT-CNN的电商评论情感分析;史振杰;董兆伟;庞超逸;张百灵;孙立辉;;智能计算机与应用;20200201(第02期);全文 *

Also Published As

Publication number Publication date
CN118033732A (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN118033732B (zh) 一种基于空域频域融合架构的地震数据重建方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN110490219B (zh) 一种基于纹理约束的U-net网络进行地震数据重建的方法
CN112200244A (zh) 一种基于递阶对抗训练的航天发动机异常智能检测方法
CN109001802A (zh) 基于Hankel张量分解的地震信号重构方法
CN104794681B (zh) 基于多冗余字典和稀疏重构的遥感图像融合方法
CN113902622B (zh) 基于深度先验联合注意力的光谱超分辨率方法
CN115330643B (zh) 基于卷积神经网络和视觉变换神经网络的地震去噪方法
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN111562612A (zh) 一种基于注意力机制的深度学习微震事件识别方法及系统
CN114842351A (zh) 一种基于孪生Transformers的遥感图像语义变化检测方法
CN116819615B (zh) 一种地震数据重建方法
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
CN111025385A (zh) 一种基于低秩和稀疏约束的地震数据重建方法
CN115019178A (zh) 一种基于大核卷积注意力的高光谱影像分类方法
CN116823664A (zh) 一种遥感图像云去除方法及系统
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN114545494B (zh) 基于稀疏约束的无监督地震数据重建方法及装置
CN114897737A (zh) 一种基于非配对无监督神经网络的高光谱图像去噪方法
CN114663777A (zh) 基于时空联合图注意机制的高光谱影像变化检测方法
CN111830560B (zh) 一种基于降秩算法的地震数据重建方法
CN117173594A (zh) 基于可变形注意力网络的遥感图像变化检测方法
CN117237663A (zh) 一种大感受野的点云修复方法
CN115879623A (zh) 一种农业干旱等级预测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant