CN115330643B - 基于卷积神经网络和视觉变换神经网络的地震去噪方法 - Google Patents

基于卷积神经网络和视觉变换神经网络的地震去噪方法 Download PDF

Info

Publication number
CN115330643B
CN115330643B CN202211250180.XA CN202211250180A CN115330643B CN 115330643 B CN115330643 B CN 115330643B CN 202211250180 A CN202211250180 A CN 202211250180A CN 115330643 B CN115330643 B CN 115330643B
Authority
CN
China
Prior art keywords
seismic data
denoising
noise
convolution
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211250180.XA
Other languages
English (en)
Other versions
CN115330643A (zh
Inventor
王珺
王帅
刘伟锋
刘宝弟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202211250180.XA priority Critical patent/CN115330643B/zh
Publication of CN115330643A publication Critical patent/CN115330643A/zh
Application granted granted Critical
Publication of CN115330643B publication Critical patent/CN115330643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本发明公开了一种基于卷积神经网络和视觉变换神经网络的地震去噪方法,涉及信息处理技术领域。本发明采集含噪声的地震数据,对含噪声的地震数据进行去噪处理后,得到多个去噪后的地震数据块,构建包括训练集、验证集和测试集的地震数据集,并基于卷积神经网络和视觉变换神经网络构建地震数据去噪网络,利用训练集训练地震数据去噪网络后,再利用验证集调试训练后地震数据去噪网络的去噪效果,得到去噪效果最佳的地震数据去噪网络后,利用训练后的地震数据去噪网络去除测试集中含噪声地震数据块的噪声,得到去除噪声后的地震数据。本发明有效提高了地震数据的去噪性能,降低了训练成本,有利于快速且准确的获取地下介质构造信息。

Description

基于卷积神经网络和视觉变换神经网络的地震去噪方法
技术领域
本发明涉及信息处理技术领域,具体涉及一种基于卷积神经网络和视觉变换神经网络的地震去噪方法。
背景技术
地震勘探作为当前全球油气勘探的主要技术,其通过人工激发记录地震波,利用计算机对所采集的地震记录进行加工和改造,获取地下介质的构造分布信息。野外采集的地震记录中存在大量的随机噪声,导致地震记录的分辨率降低,无法保证后续数据处理的真实性。所以,必须采取有效的处理手段减弱地震记录中的随机噪声,恢复出原始干净的地质构造,同时,还需要尽可能多地保留地质构造中的断层、尖灭等细节特征。传统的噪声压制方法均是基于预先建立的模型,需要根据数据集估计参数,这种模型往往不适用于现场数据,且估计参数需要大量的人机交互,自动化程度较低。另外,传统的去噪方法不能很好地兼顾保护地震记录同相轴的整体趋势和细节、边缘等信息。
卷积神经网络(Convolutional Neural Networks,CNN)作为计算机视觉处理中提取图像特征的重要方法,利用卷积滤波器进行参数共享以及层与层之间的稀疏连接,提取固定感受野之下的卷积特征并输入至后续的网络中完成特定任务(例如人脸识别、图像分割和视频插帧等任务)。地球物理技术领域研究人员已尝试将卷积神经网络应用于地震数据去噪处理中,但现阶段基于卷积神经网络的地震数据去噪方法主要侧重于采用精细的网络结构(例如采用生成对抗网络、残差学习网络或者U-Net),相比于传统的基于模型的地震数据去噪方法,基于卷积神经网络的地震数据去噪方法其去噪性能有了显著的提高,但是,当地震记录的同相轴形状和倾角发生较大变化时(例如地下存在凹陷、隆起时),由于卷积神经网络提取的特征是通过卷积滤波器提取固定感受野中的局部特征,这就使得基于卷积神经网络的地震数据去噪方法常常存在去噪性能较弱的问题,无法很好地保护同相轴的真实形状。为了能够提取到整个数据块的特征,卷积神经网络需要堆叠卷积滤波器构建马尔科夫链,由于卷积滤波器本身不具备非局部性质,所以其获得的特征并不能很好地建立整块数据各区域之间的联系,造成全局信息的缺失,缺失全局信息将导致网络的去噪性能降低,产生较大的误差。因此,基于卷积神经网络的地震数据去噪方法因为卷积运算存在固有的局部性,虽然这种局部性有利于提取地震数据中的细节和边缘信息,但无法很好地获取数据的全局和长程特征,即传统的基于卷积神经网络的地震数据去噪方法应用于长距离关系建模时,具有一定的局限性且计算量较大。
变换神经网络(Transformer)作为目前深度学习领域最先进的网络模型之一,其自注意力机制擅长捕捉数据及特征的内部相关性,减少对外部信息的依赖,已被研究人员引入计算机视觉领域中执行图像识别任务,视觉变换神经网络(Vision Transformer)在图像分类、目标检测和语义分割等计算机视觉任务中均取得了良好的应用,其自注意力机制通过计算图像中像素点间的相互关系捕捉图像的全局信息,对长距离关系进行建模。但是,单纯使用变换神经网络时,会因为长程注意力机制而忽略掉图像的局部特性,导致局部信息获取能力较差,造成细节或边缘信息的丢失。并且,变换神经网络的常规自注意力机制在求取全局注意力图时,无差别地计算了所有像素的相似度,使得计算量巨大、硬件成本高昂,难以应用于训练地震数据去噪网络中。
因此,亟需提出一种新的地震噪声压制方法,用于解决现有地震数据去噪方法难以充分挖掘利用地震数据信息、模型构建复杂且计算成本高昂的问题。
发明内容
本发明针对现有技术难以充分挖掘利用地震数据信息、模型构建复杂且计算成本高昂的问题,提出了一种基于卷积神经网络和视觉变换神经网络的地震去噪方法,通过将卷积神经网络和视觉变换神经网络结合后进行轻量化改进,提高了对地震数据的去噪性能,减少了地震数据去噪网络训练过程中的参数量和计算量,有效压制了地震数据中的噪声,有利于快速准确的获取地下介质构造分布信息。
本发明为了实现上述目的,采用如下技术方案:
基于卷积神经网络和视觉变换神经网络的地震去噪方法,包括以下步骤:
步骤1,采集含噪声的地震数据,对含噪声的地震数据进行去噪处理后,得到多个去噪后的地震数据块,构建地震数据集,地震数据集中包括训练集、验证集和测试集;
步骤2,基于卷积神经网络和视觉变换神经网络构建地震数据去噪U-Net网络,地震数据去噪U-Net网络由多个位于不同深度处的CT模块组成,CT模块包含两个1×1卷积层、一个由轻量化卷积模块和轻量化视觉变换神经网络模块组成的并行结构和一个合并层;
步骤3,利用训练集对地震数据去噪U-Net网络进行训练,得到训练后的地震数据去噪U-Net网络;
步骤4,利用验证集验证训练后地震数据去噪U-Net网络的去噪效果,若训练后地震数据去噪U-Net网络的去噪效果已达到最佳,则进入步骤5,否则,则返回步骤3中,继续利用训练集对地震数据去噪U-Net网络进行训练;
步骤5,将测试集中含噪声地震数据块输入至训练后的地震数据去噪U-Net网络中,利用训练后的地震数据去噪U-Net网络去除测试集中含噪声地震数据块中的噪声,得到去除噪声后的地震数据。
优选地,所述步骤1中,具体包括以下步骤:
步骤1.1,采集含噪声的地震数据,将含噪声的地震数据截取为多个具有相同维度的含噪声地震数据块,分别对各含噪声地震数据块进行去噪处理后,得到多个去噪后的地震数据块,各去噪后的地震数据块为其所对应含噪声地震数据块的标签;
步骤1.2,基于含噪声地震数据块和去噪后的地震数据块,构建地震数据集,并将地震数据集划分为训练集、验证集和测试集。
优选地,所述步骤2中,当含噪声地震数据块或前一个CT模块输出的特征数据块输入至当前CT模块时,当前CT模块的第一个1×1卷积层先对输入的含噪声地震数据块或特征数据块进行卷积核大小为1×1的卷积运算,得到1×1卷积处理后的地震数据,如公式(1)所示:
Figure DEST_PATH_IMAGE001
(1)
式中,
Figure DEST_PATH_IMAGE002
为1×1卷积处理后的地震数据,行数为h、列数为w、通道数为C
Figure DEST_PATH_IMAGE003
为卷积核大小为1×1的卷积运算函数;
Figure DEST_PATH_IMAGE004
为输入至CT模块的数据块,行数为h、列数为w、通道数为C 0
再将经1×1卷积处理后的地震数据同时输入至轻量化卷积模块和轻量化视觉变换神经网络模块中,轻量化卷积模块输出轻量化卷积处理数据,轻量化视觉变换神经网络模块输出轻量化视觉变换神经网络处理数据,如公式(2)和公式(3)所示:
Figure DEST_PATH_IMAGE005
(2)
Figure DEST_PATH_IMAGE006
(3)
式中,
Figure DEST_PATH_IMAGE007
为轻量化卷积处理数据,行数为h、列数为w、通道数为C
Figure DEST_PATH_IMAGE008
为轻量化卷积模块的运算函数;
Figure DEST_PATH_IMAGE009
为轻量化视觉变换神经网络处理数据,行数为h、列数为w、通道数为C
Figure DEST_PATH_IMAGE010
为轻量化视觉变换神经网络模块的运算函数;
最后,将轻量化卷积处理数据
Figure 381237DEST_PATH_IMAGE007
和轻量化视觉变换神经网络处理数据
Figure 298378DEST_PATH_IMAGE009
同时输入合并层中,经合并层处理后再输入至当前CT模块的第二个1×1卷积层中,输出经CT模块处理后的数据,如公式(4)所示:
Figure DEST_PATH_IMAGE011
(4)
式中,Z为经CT模块处理后的数据,
Figure DEST_PATH_IMAGE012
为合并运算。
优选地,所述轻量化卷积模块包括第一卷积层和第二卷积层,第一卷积层和第二卷积层串联连接,第一卷积层和第二卷积层之间设置有激活函数ReLU,第一卷积层和第二卷积层均采用卷积核大小为3×3的深度可分离卷积,深度可分离卷积分为逐通道卷积与逐点卷积,第一卷积层的输入与第二卷积层的输出之间设置有快捷连接,快捷连接将输入至轻量化卷积模块的地震数据与经轻量化卷积模块处理后输出的地震数据相融合,得到轻量化卷积处理数据,如公式(5)所示:
Figure DEST_PATH_IMAGE013
(5)
式中,
Figure DEST_PATH_IMAGE014
为可分离卷积运算函数,
Figure DEST_PATH_IMAGE015
为激活函数。
优选地,所述轻量化视觉变换神经网络模块包括第一层归一化层、轻量化自注意力层、第二层归一化层、多层感知机层,轻量化视觉变换神经网络模块内部还设置有两个快捷连接,第一层归一化层和第二层归一化层均用于根据地震数据的通道数对地震数据进行归一化,轻量化自注意力层用于利用轻量化自注意力机制求取全局注意力图,多层感知机层用于提高轻量化视觉变换神经网络的非线性表达能力;
利用轻量化视觉变换神经网络模块求取全局注意力图时,将1×1卷积处理后的地震数据输入至轻量化视觉变换神经网络模块中,先通过矩阵映射将行数为h、列数为w、通道数为C的地震数据转换为相互独立的第一矩阵Q、第二矩阵K和第三矩阵V,第一矩阵Q、第二矩阵K和第三矩阵V的维度相同,第一矩阵Q、第二矩阵K和第三矩阵V的行数均为h、列数均为w、通道数均为C,再采用最大池化分别降低第二矩阵K和第三矩阵V的维度,得到降维后的第二矩阵和第三矩阵,如公式(6)和公式(7)所示:
Figure DEST_PATH_IMAGE016
(6)
Figure DEST_PATH_IMAGE017
(7)
式中,
Figure DEST_PATH_IMAGE018
为降维后的第二矩阵,降维后第二矩阵
Figure 796224DEST_PATH_IMAGE018
的行数为p、列数为p、通道数为CK为第二矩阵;
Figure DEST_PATH_IMAGE019
为降维后的第三矩阵,降维后第三矩阵
Figure 112805DEST_PATH_IMAGE019
的行数为p、列数为p、通道数为CV为第三矩阵;
Figure DEST_PATH_IMAGE020
为做大池化运算函数;
轻量化自注意力层基于轻量化自注意力机制,利用第一矩阵Q、降维后的第二矩阵
Figure 723915DEST_PATH_IMAGE018
和降维后的第三矩阵
Figure DEST_PATH_IMAGE021
求取全局注意力图,如公式(8)所示:
Figure DEST_PATH_IMAGE022
(8)
式中,
Figure DEST_PATH_IMAGE023
为基于轻量化自注意力机制求取全局注意力图的函数;
Figure DEST_PATH_IMAGE024
为激活函数;
Figure DEST_PATH_IMAGE025
为降维后第二矩阵
Figure 998907DEST_PATH_IMAGE018
的空间维度,
Figure DEST_PATH_IMAGE026
Figure DEST_PATH_IMAGE027
为降维后第二矩阵
Figure 62678DEST_PATH_IMAGE018
的转置矩阵。
优选地,所述步骤3中,具体包括以下步骤:
步骤3.1,将训练集中的含噪声地震数据块输入至步骤2中构建的地震数据去噪U-Net网络中,利用地震数据去噪U-Net网络去除含噪声地震数据块中的噪声,得到去除噪声后的地震数据;
步骤3.2,将去除噪声后的地震数据与训练集中含噪声地震数据块所对应的标签进行对比,计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值,并将误差值与预设的阈值进行比较;若误差值小于预设的阈值,则进入步骤3.4;否则,则进入步骤3.3;
步骤3.3,反向传播误差值并根据误差梯度信息更新地震数据去噪U-Net网络中的参数,得到更新后的地震数据去噪U-Net网络,将训练集中的含噪声地震数据块输入至更新后的地震数据去噪U-Net网络中,利用更新后的地震数据去噪U-Net网络去除含噪声地震数据块中的噪声,得到去除噪声后的地震数据后,返回步骤3.2;
步骤3.4,完成对地震数据去噪U-Net网络的训练,得到训练后的地震数据去噪U-Net网络。
优选地,所述步骤3.3中,利用训练集训练地震数据去噪U-Net网络时,地震数据去噪U-Net网络中参数的损失函数为:
Figure DEST_PATH_IMAGE028
(9)
式中,
Figure DEST_PATH_IMAGE029
为损失函数;
Figure DEST_PATH_IMAGE030
为地震数据去噪U-Net网络中的参数,采用Adam优化算法求解获得;N为训练集中含噪声地震数据块的总数;
Figure DEST_PATH_IMAGE031
为地震数据去噪U-Net网络;
Figure DEST_PATH_IMAGE032
为训练集中第i个含噪声地震数据块,
Figure DEST_PATH_IMAGE033
为训练集中第i个含噪声地震数据块的标签。
优选地,所述步骤4中,具体包括以下步骤:
步骤4.1,将验证集中的含噪声地震数据块输入至训练后的地震数据去噪U-Net网络中,利用训练后的地震数据去噪U-Net网络去除含噪声地震数据块中的噪声,得到去除噪声后的地震数据;
步骤4.2,将去除噪声后的地震数据与验证集中含噪声地震数据块所对应的标签进行对比,计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值,并将误差值与预设的阈值进行比较;若误差值小于预设的阈值,则证明训练后地震数据去噪U-Net网络的去噪效果已达到最优,进入步骤5;否则,则返回步骤3,继续利用训练集训练地震数据去噪U-Net网络。
本发明具有的有益效果为:
本发明提出了一种基于卷积神经网络和视觉变换神经网络的地震去噪方法,通过将卷积神经网络和视觉变换神经网络相结合,在利用卷积神经网络提取地震数据的局部信息的同时利用视觉变换神经网络提取地震数据的全局信息,并将提取到的局部信息和全局信息融合后用于去除地震数据去噪,有效提高了地震数据的去噪性能。
同时,本发明方法还对卷积神经网络和视觉变换神经网络的网络结构进行了轻量化改进,既有效保证了地震数据的完整性,兼顾了地震数据的局部特征和全局特征,又减少了训练过程中的参数量,避免了因出现梯度消失而导致网络退化的问题,大幅度降低了地震数据去噪的成本,为快速且准确的获取地下介质构造信息奠定了基础。
附图说明
图1为本发明基于卷积神经网络和视觉变换神经网络的地震去噪方法的流程图。
图2为本发明地震数据去噪U-Net网络的结构示意图。
图3为本发明CT模块的结构示意图。
图4本发明轻量化卷积模块的结构示意图。
图5为本发明轻量化视觉变换神经网络模块的结构示意图。
图6为利用常规视觉变换神经网络的自注意力机制求取全局注意力图的原理图。
图7为利用轻量化视觉变换神经网络的轻量化自注意力机制求取全局注意力图的原理图。
图8为本发明利用训练集训练地震数据去噪U-Net网络的流程图。
图9为本发明利用训练后的地震数据去噪U-Net网络进行地震数据去噪的流程图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明:
本发明提出了一种基于卷积神经网络和视觉变换神经网络的地震去噪方法,如图1所示,具体包括以下步骤:
步骤1,采集含噪声的地震数据,对含噪声的地震数据进行去噪处理后,得到多个去噪后的地震数据块,构建地震数据集,地震数据集中包括训练集、验证集和测试集,具体包括以下步骤:
步骤1.1,采集含噪声的地震数据,将含噪声的地震数据截取为多个具有相同维度的含噪声地震数据块,各含噪声地震数据块的行数为h、列数为w,本实施例中含噪声地震数据块的行数设置为h=200、列数设置为w=200,采用常规地震数据去噪方法(如三维块匹配算法BM3D或加权核范数最小化方法WNNM)分别对各含噪声地震数据块进行去噪处理后,得到多个去噪后的地震数据块,各去噪后的地震数据块为其所对应含噪声地震数据块的标签。
步骤1.2,基于步骤1.1中获取的多组含噪声地震数据块和去噪后的地震数据块,构建地震数据集,并将地震数据集划分为训练集、验证集和测试集,其中,训练集用于训练地震数据去噪U-Net网络,验证集用于调试地震数据去噪U-Net网络,测试集用于测试地震数据去噪U-Net网络的去噪效果,本实施例中训练集、验证集和测试集中含噪声地震数据块的数量比为3:1:1。
步骤2,基于卷积神经网络和视觉变换神经网络构建地震数据去噪U-Net网络,具体过程如下:
由于U-Net能够提取并利用数据的尺度特征,本实施例为了充分获取并利用地震数据的局部信息和全局信息基于轻量化卷积神经网络和视觉变换神经网络构建地震数据去噪U-Net网络,如图2所示,地震数据去噪U-Net网络由多个位于不同深度处的CT模块组成,CT模块包含两个1×1卷积层、一个由轻量化卷积模块和轻量化视觉变换神经网络模块组成的并行结构和一个合并层,如图3所示,其中,轻量化卷积模块和轻量化视觉变换神经网络模块通过合并运算能够实现对地震数据局部特征和全局特征的有效融合。
当含噪声地震数据块或前一个CT模块输出的特征数据块输入至当前CT模块时,当前CT模块的第一个1×1卷积层先对输入的含噪声地震数据块或特征数据块进行卷积核大小为1×1的卷积运算,将行数为h、列数为w、通道数为C 0的地震数据转换为行数为h、列数为w、通道数为C的地震数据,得到1×1卷积处理后的地震数据,如公式(1)所示:
Figure 855053DEST_PATH_IMAGE001
(1)
式中,
Figure 523932DEST_PATH_IMAGE002
为1×1卷积处理后的地震数据,行数为h、列数为w、通道数为C
Figure DEST_PATH_IMAGE034
为卷积核大小为1×1的卷积运算函数;
Figure 438667DEST_PATH_IMAGE004
为输入至CT模块的数据块,行数为h、列数为w、通道数为C 0
再将经1×1卷积处理后的地震数据
Figure 192997DEST_PATH_IMAGE002
同时输入至轻量化卷积模块和轻量化视觉变换神经网络模块中,轻量化卷积模块输出轻量化卷积处理数据,轻量化视觉变换神经网络模块输出轻量化视觉变换神经网络处理数据,如公式(2)和公式(3)所示:
Figure 133271DEST_PATH_IMAGE005
(2)
Figure 250132DEST_PATH_IMAGE006
(3)
式中,
Figure 679976DEST_PATH_IMAGE007
为轻量化卷积处理数据,
Figure 249497DEST_PATH_IMAGE009
为轻量化视觉变换神经网络处理数据,轻量化卷积处理数据
Figure 993463DEST_PATH_IMAGE007
和轻量化视觉变换神经网络处理数据
Figure 636934DEST_PATH_IMAGE009
的维度相同,行数均为h、列数均为w、通道数均为C
Figure 299996DEST_PATH_IMAGE008
为轻量化卷积模块的运算函数;
Figure 28918DEST_PATH_IMAGE010
为轻量化视觉变换神经网络模块的运算函数。
最后,将轻量化卷积处理数据
Figure 435628DEST_PATH_IMAGE007
和轻量化视觉变换神经网络处理数据
Figure 402447DEST_PATH_IMAGE009
同时输入合并层中,经合并层处理后再输入至当前CT模块的第二个1×1卷积层中,合并层和1×1卷积运算将轻量化卷积模块输出的轻量化卷积处理数据
Figure 174094DEST_PATH_IMAGE007
和轻量化视觉变换神经网络模块输出的轻量化视觉变换神经网络处理数据
Figure 452629DEST_PATH_IMAGE009
充分融合,输出经CT模块处理后的数据,如公式(4)所示:
Figure 803976DEST_PATH_IMAGE011
(4)
式中,Z为经CT模块处理后的数据,
Figure 156460DEST_PATH_IMAGE012
为合并运算。
CT模块内设置的轻量化卷积模块如图4所示,包括第一卷积层和第二卷积层,第一卷积层和第二卷积层串联连接,第一卷积层和第二卷积层之间设置有激活函数ReLU。第一卷积层和第二卷积层均采用卷积核大小为3×3的深度可分离卷积,深度可分离卷积分为逐通道卷积与逐点卷积,逐通道卷积是将每个通道都对应着唯一的一个卷积核,一个卷积核负责一个通道,一个通道只被一个卷积核卷积,通道和卷积核一一对应,经过逐通道卷积运算得到的特征图数量与输入数据的通道数相同;逐点卷积是将逐通道卷积生成的特征图进行加权组合,生成新的特征图,特征图的数量与逐点卷积核的数量相等。
由于逐通道卷积和逐点卷积的参数量均远小于常规卷积,所以深度可分离卷积比常规卷积的参数数量少得多。并且,单纯的卷积运算将数据在空间维度进行线性变换时,存在不同的数据点映射为同一个值的问题,从而造成信息丢失,产生欠拟合现象,容易导致梯度消失现象。为了弥补卷积运算导致的信息丢失,保证信息的完整性,本发明方法在第一卷积层的输入与第二卷积层的输出之间设置了快捷连接,快捷连接将输入至轻量化卷积模块的地震数据与经轻量化卷积模块处理后输出的地震数据相融合,得到轻量化卷积处理数据,如公式(5)所示:
Figure 426904DEST_PATH_IMAGE013
(5)
式中,
Figure 864838DEST_PATH_IMAGE014
为可分离卷积运算函数;
Figure 878931DEST_PATH_IMAGE015
为激活函数,为非线性修正单元。
CT模块内设置的轻量化视觉变换神经网络模块如图5所示,包括第一层归一化层、轻量化自注意力层、第二层归一化层、多层感知机层,轻量化视觉变换神经网络模块内还设置有两个快捷连接,解决了由于网络深度增加所引起的网络退化,有效防止了梯度消失,有利于帮助深层网络的训练。轻量化视觉变换神经网络模块训练过程中,第一层归一化层和第二层归一化层均用于根据地震数据的通道数对地震数据进行归一化,各层归一化层每次只对单个训练样本进行归一化运算,归一化的结果与每次参与训练的样本数无关,因此不受训练所选取样本数据分布的影响,同时,层归一化不需要保存训练批次的均值和方差,节省了额外的存储空间,本实施例中第一层归一化层和第二层归一化层均根据地震数据的通道数对地震数据进行归一化。多层感知机层通过先将数据映射到高维空间再映射到低维空间,学习到更加抽象的特征,提高了轻量化视觉变换神经网络的非线性表达能力。
常规视觉变换神经网络的自注意力机制求取全局注意力图原理如图6所示,为了便于理解,图6中数据的行数为h、列数为w、通道数为1,计算一个行数为h、列数为w、通道数为C的数据的全局注意力图时,常规视觉变换神经网络中的自注意力机制首先通过矩阵映射将该行数为h、列数为w、通道数为C的数据变成3个不同且相互独立的矩阵,分别为第一矩阵Q、第二矩阵K和第三矩阵V,第一矩阵Q、第二矩阵K和第三矩阵V的行数均为h、列数均为w、通道数均为C,然后通过对第一矩阵Q和第二矩阵K转置后与第三矩阵V进行乘法运算求取全局注意力图,由于第一矩阵Q、第二矩阵K和第三矩阵V的行数均为h、列数均为w、通道数均为C,所以对上述三个矩阵连续相乘运算将产生与(hw)2 C成正比的计算量,非常耗时、耗显存。
相比于采用常规视觉变换神经网络的自注意力机制求取全局注意力图,利用轻量化视觉变换神经网络的轻量化自注意力机制求取全局注意力图的原理如图7所示。当利用轻量化视觉变换神经网络模块求取全局注意力图时,将1×1卷积处理后的地震数据输入至轻量化视觉变换神经网络模块中,先通过矩阵映射将行数为h、列数为w、通道数为C的地震数据转换为相互独立的第一矩阵Q、第二矩阵K和第三矩阵V,第一矩阵Q、第二矩阵K和第三矩阵V的维度相同,第一矩阵Q、第二矩阵K和第三矩阵V的行数均为h、列数均为w、通道数均为C,考虑到第二矩阵K和第三矩阵V中存在很多冗余的信息,且很多信息都是重复的,减少一些冗余信息并不会对网络的性能产生影响,同时,本发明选用最大池化而不是平均池化对第二矩阵K和第三矩阵V进行降维,是由于平均池化有利于保留数据的整体特征,能够较好的突出背景信息,而最大池化则倾向于保留数据的细节特征,且地震数据去噪的一个重要目的是恢复地震数据的同相轴细节信息。因此,最大池化相比于平均池化更适用于地震数据去噪任务。本发明采用最大池化分别降低第二矩阵K和第三矩阵V的维度,得到降维后的第二矩阵和第三矩阵,如公式(6)和公式(7)所示:
Figure DEST_PATH_IMAGE035
(6)
Figure DEST_PATH_IMAGE036
(7)
式中,
Figure 148238DEST_PATH_IMAGE018
为降维后的第二矩阵,降维后第二矩阵
Figure 261688DEST_PATH_IMAGE018
的行数为p、列数为p、通道数为C,降维后第二矩阵
Figure 514814DEST_PATH_IMAGE018
的行数p远小于降维前第二矩阵K的行数h或列数wK为第二矩阵;
Figure DEST_PATH_IMAGE037
为降维后的第三矩阵,降维后第三矩阵
Figure 942385DEST_PATH_IMAGE037
的行数为p、列数为p、通道数为CV为第三矩阵;
Figure DEST_PATH_IMAGE038
为做大池化运算函数。
轻量化自注意力层基于轻量化自注意力机制,利用第一矩阵Q、降维后的第二矩阵
Figure 597357DEST_PATH_IMAGE018
和降维后的第三矩阵
Figure 209604DEST_PATH_IMAGE019
求取全局注意力图,如公式(8)所示:
Figure 90972DEST_PATH_IMAGE022
(8)
式中,
Figure 118971DEST_PATH_IMAGE023
为基于轻量化自注意力机制求取全局注意力图的函数;
Figure 628450DEST_PATH_IMAGE024
为激活函数;
Figure 286964DEST_PATH_IMAGE025
为降维后第二矩阵
Figure 186787DEST_PATH_IMAGE018
的空间维度,
Figure 80794DEST_PATH_IMAGE026
Figure 975938DEST_PATH_IMAGE027
为降维后第二矩阵
Figure 336512DEST_PATH_IMAGE018
的转置矩阵。
对于同一个行数为h、列数为w、通道数为C的地震数据,采用常规视觉变换神经网络的自注意力机制求取全局注意力图的计算复杂度为S=4(hw)2 C+2(hw)2 C,而采用轻量化视觉变换神经网络的轻量化自注意力机制求取全局注意力图的计算复杂度为S=2hwp 2 C。本实施例中经过最大池化处理后数据的列数p=7,对于同一个地震记录中提取的行数为h=56、列数为w=56、通道数为C=1的特征张量,采用常规视觉变换神经网络的自注意力机制求取全局注意力图的计算复杂度为19681536,而采用轻量化视觉变换神经网络的轻量化自注意力机制求取全局注意力图的计算复杂度为307328,由此可见,采用本发明的轻量化自注意力机制大幅度降低了求取全局注意力图的计算复杂度。
步骤3,利用训练集对地震数据去噪U-Net网络进行训练,得到训练后的地震数据去噪U-Net网络,如图8所示,具体包括以下步骤:
步骤3.1,将训练集中的含噪声地震数据块输入至步骤2中构建的地震数据去噪U-Net网络中,利用地震数据去噪U-Net网络去除含噪声地震数据块中的噪声,得到去除噪声后的地震数据。
步骤3.2,将去除噪声后的地震数据与训练集中含噪声地震数据块所对应的标签进行对比,计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值,并将误差值与预设的阈值进行比较;若误差值小于预设的阈值,则进入步骤3.4;否则,则进入步骤3.3。
步骤3.3,反向传播误差值并根据误差梯度信息更新地震数据去噪U-Net网络中的参数,得到更新后的地震数据去噪U-Net网络,将训练集中的含噪声地震数据块输入至更新后的地震数据去噪U-Net网络中,利用更新后的地震数据去噪U-Net网络去除含噪声地震数据块中的噪声,得到去除噪声后的地震数据后,返回步骤3.2;
利用训练集训练地震数据去噪U-Net网络时,地震数据去噪U-Net网络中参数的损失函数为:
Figure 926893DEST_PATH_IMAGE028
(9)
式中,
Figure 296695DEST_PATH_IMAGE029
为损失函数;
Figure 515186DEST_PATH_IMAGE030
为地震数据去噪U-Net网络中的参数,采用Adam优化算法求解获得;N为训练集中含噪声地震数据块的总数;
Figure 905716DEST_PATH_IMAGE031
为地震数据去噪U-Net网络;
Figure 514552DEST_PATH_IMAGE032
为训练集中第i个含噪声地震数据块,
Figure 891307DEST_PATH_IMAGE033
为训练集中第i个含噪声地震数据块的标签。
步骤3.4,完成对地震数据去噪U-Net网络的训练,得到训练后的地震数据去噪U-Net网络。
步骤4,利用验证集验证训练后地震数据去噪U-Net网络的去噪效果,若训练后地震数据去噪U-Net网络的去噪效果已达到最佳,则进入步骤5,否则,则返回步骤3中,继续利用训练集对地震数据去噪U-Net网络进行训练,具体包括以下步骤:
步骤4.1,将验证集中的含噪声地震数据块输入至训练后的地震数据去噪U-Net网络中,利用训练后的地震数据去噪U-Net网络去除含噪声地震数据块中的噪声,得到去除噪声后的地震数据。
步骤4.2,将去除噪声后的地震数据与验证集中含噪声地震数据块所对应的标签进行对比,计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值,并将误差值与预设的阈值进行比较;若误差值小于预设的阈值,则证明训练后地震数据去噪U-Net网络的去噪效果已达到最优,进入步骤5;否则,则返回步骤3,继续利用训练集训练地震数据去噪U-Net网络。
步骤5,将测试集中含噪声地震数据块输入至训练后的地震数据去噪U-Net网络中,利用训练后的地震数据去噪U-Net网络去除测试集中含噪声地震数据块中的噪声,如图9所示,地震数据去噪U-Net网络输出得到去除噪声后的地震数据。
当然,以上说明仅仅为本发明的较佳实施例,本发明并不限于列举上述实施例,应当说明的是,任何熟悉本领域的技术人员在本说明书的教导下,所做出的所有等同替代、明显变形形式,均落在本说明书的实质范围之内,理应受到本发明的保护。

Claims (5)

1.基于卷积神经网络和视觉变换神经网络的地震去噪方法,其特征在于,包括以下步骤:
步骤1,采集含噪声的地震数据,对含噪声的地震数据进行去噪处理后,得到多个去噪后的地震数据块,构建地震数据集,地震数据集中包括训练集、验证集和测试集;
步骤2,基于卷积神经网络和视觉变换神经网络构建地震数据去噪U-Net网络,地震数据去噪U-Net网络由多个位于不同深度处的CT模块组成,CT模块包含两个1×1卷积层、一个由轻量化卷积模块和轻量化视觉变换神经网络模块组成的并行结构和一个合并层;
步骤3,利用训练集对地震数据去噪U-Net网络进行训练,得到训练后的地震数据去噪U-Net网络;
步骤4,利用验证集验证训练后地震数据去噪U-Net网络的去噪效果,若训练后地震数据去噪U-Net网络的去噪效果已达到最佳,则进入步骤5,否则,则返回步骤3中,继续利用训练集对地震数据去噪U-Net网络进行训练;
步骤5,将测试集中含噪声地震数据块输入至训练后的地震数据去噪U-Net网络中,利用训练后的地震数据去噪U-Net网络去除测试集中含噪声地震数据块中的噪声,得到去除噪声后的地震数据;
所述步骤2中,当含噪声地震数据块或前一个CT模块输出的特征数据块输入至当前CT模块时,当前CT模块的第一个1×1卷积层先对输入的含噪声地震数据块或特征数据块进行卷积核大小为1×1的卷积运算,得到1×1卷积处理后的地震数据,如公式(1)所示:
Figure 66203DEST_PATH_IMAGE001
(1)
式中,
Figure 830897DEST_PATH_IMAGE002
为1×1卷积处理后的地震数据,行数为h、列数为w、通道数为C
Figure 192608DEST_PATH_IMAGE003
为卷积核大小为1×1的卷积运算函数;
Figure 435371DEST_PATH_IMAGE004
为输入至CT模块的数据块,行数为h、列数为w、通道数为C 0
再将经1×1卷积处理后的地震数据同时输入至轻量化卷积模块和轻量化视觉变换神经网络模块中,轻量化卷积模块输出轻量化卷积处理数据,轻量化视觉变换神经网络模块输出轻量化视觉变换神经网络处理数据,如公式(2)和公式(3)所示:
Figure 566138DEST_PATH_IMAGE005
(2)
Figure 236153DEST_PATH_IMAGE006
(3)
式中,
Figure 350740DEST_PATH_IMAGE007
为轻量化卷积处理数据,行数为h、列数为w、通道数为C
Figure 866035DEST_PATH_IMAGE008
为轻量化卷积模块的运算函数;
Figure 382467DEST_PATH_IMAGE009
为轻量化视觉变换神经网络处理数据,行数为h、列数为w、通道数为C
Figure 223384DEST_PATH_IMAGE010
为轻量化视觉变换神经网络模块的运算函数;
最后,将轻量化卷积处理数据
Figure 559687DEST_PATH_IMAGE007
和轻量化视觉变换神经网络处理数据
Figure 144253DEST_PATH_IMAGE009
同时输入合并层中,经合并层处理后再输入至当前CT模块的第二个1×1卷积层中,输出经CT模块处理后的数据,如公式(4)所示:
Figure 515191DEST_PATH_IMAGE011
(4)
式中,Z为经CT模块处理后的数据,
Figure 527009DEST_PATH_IMAGE012
为合并运算;
所述轻量化卷积模块包括第一卷积层和第二卷积层,第一卷积层和第二卷积层串联连接,第一卷积层和第二卷积层之间设置有激活函数ReLU,第一卷积层和第二卷积层均采用卷积核大小为3×3的深度可分离卷积,深度可分离卷积分为逐通道卷积与逐点卷积,第一卷积层的输入与第二卷积层的输出之间设置有快捷连接,快捷连接将输入至轻量化卷积模块的地震数据与经轻量化卷积模块处理后输出的地震数据相融合,得到轻量化卷积处理数据,如公式(5)所示:
Figure 85030DEST_PATH_IMAGE013
(5)
式中,
Figure 473286DEST_PATH_IMAGE014
为可分离卷积运算函数,
Figure 433151DEST_PATH_IMAGE015
为激活函数;
所述轻量化视觉变换神经网络模块包括第一层归一化层、轻量化自注意力层、第二层归一化层、多层感知机层,轻量化视觉变换神经网络模块内部还设置有两个快捷连接,第一层归一化层和第二层归一化层均用于根据地震数据的通道数对地震数据进行归一化,轻量化自注意力层用于利用轻量化自注意力机制求取全局注意力图,多层感知机层用于提高轻量化视觉变换神经网络的非线性表达能力;
利用轻量化视觉变换神经网络模块求取全局注意力图时,将1×1卷积处理后的地震数据输入至轻量化视觉变换神经网络模块中,先通过矩阵映射将行数为h、列数为w、通道数为C的地震数据转换为相互独立的第一矩阵Q、第二矩阵K和第三矩阵V,第一矩阵Q、第二矩阵K和第三矩阵V的维度相同,第一矩阵Q、第二矩阵K和第三矩阵V的行数均为h、列数均为w、通道数均为C,再采用最大池化分别降低第二矩阵K和第三矩阵V的维度,得到降维后的第二矩阵和第三矩阵,如公式(6)和公式(7)所示:
Figure 615871DEST_PATH_IMAGE016
(6)
Figure 192346DEST_PATH_IMAGE017
(7)
式中,
Figure 853134DEST_PATH_IMAGE018
为降维后的第二矩阵,降维后第二矩阵
Figure 933086DEST_PATH_IMAGE018
的行数为p、列数为p、通道数为CK为第二矩阵;
Figure 286707DEST_PATH_IMAGE019
为降维后的第三矩阵,降维后第三矩阵
Figure 84899DEST_PATH_IMAGE019
的行数为p、列数为p、通道数为CV为第三矩阵;
Figure 549378DEST_PATH_IMAGE020
为做大池化运算函数;
轻量化自注意力层基于轻量化自注意力机制,利用第一矩阵Q、降维后的第二矩阵
Figure 483836DEST_PATH_IMAGE018
和降维后的第三矩阵
Figure 8358DEST_PATH_IMAGE019
求取全局注意力图,如公式(8)所示:
Figure 293846DEST_PATH_IMAGE021
(8)
式中,
Figure 562016DEST_PATH_IMAGE022
为基于轻量化自注意力机制求取全局注意力图的函数;
Figure 350981DEST_PATH_IMAGE023
为激活函数;
Figure 311983DEST_PATH_IMAGE024
为降维后第二矩阵
Figure 842626DEST_PATH_IMAGE018
的空间维度,
Figure 914487DEST_PATH_IMAGE025
Figure 823537DEST_PATH_IMAGE026
为降维后第二矩阵
Figure 689862DEST_PATH_IMAGE018
的转置矩阵。
2.根据权利要求1所述的基于卷积神经网络和视觉变换神经网络的地震去噪方法,其特征在于,所述步骤1中,具体包括以下步骤:
步骤1.1,采集含噪声的地震数据,将含噪声的地震数据截取为多个具有相同维度的含噪声地震数据块,分别对各含噪声地震数据块进行去噪处理后,得到多个去噪后的地震数据块,各去噪后的地震数据块为其所对应含噪声地震数据块的标签;
步骤1.2,基于含噪声地震数据块和去噪后的地震数据块,构建地震数据集,并将地震数据集划分为训练集、验证集和测试集。
3.根据权利要求2所述的基于卷积神经网络和视觉变换神经网络的地震去噪方法,其特征在于,所述步骤3中,具体包括以下步骤:
步骤3.1,将训练集中的含噪声地震数据块输入至步骤2中构建的地震数据去噪U-Net网络中,利用地震数据去噪U-Net网络去除含噪声地震数据块中的噪声,得到去除噪声后的地震数据;
步骤3.2,将去除噪声后的地震数据与训练集中含噪声地震数据块所对应的标签进行对比,计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值,并将误差值与预设的阈值进行比较;若误差值小于预设的阈值,则进入步骤3.4;否则,则进入步骤3.3;
步骤3.3,反向传播误差值并根据误差梯度信息更新地震数据去噪U-Net网络中的参数,得到更新后的地震数据去噪U-Net网络,将训练集中的含噪声地震数据块输入至更新后的地震数据去噪U-Net网络中,利用更新后的地震数据去噪U-Net网络去除含噪声地震数据块中的噪声,得到去除噪声后的地震数据后,返回步骤3.2;
步骤3.4,完成对地震数据去噪U-Net网络的训练,得到训练后的地震数据去噪U-Net网络。
4.根据权利要求3所述的基于卷积神经网络和视觉变换神经网络的地震去噪方法,其特征在于,所述步骤3.3中,利用训练集训练地震数据去噪U-Net网络时,地震数据去噪U-Net网络中参数的损失函数为:
Figure 684363DEST_PATH_IMAGE027
(9)
式中,
Figure 294336DEST_PATH_IMAGE028
为损失函数;
Figure 57892DEST_PATH_IMAGE029
为地震数据去噪U-Net网络中的参数,采用Adam优化算法求解获得;N为训练集中含噪声地震数据块的总数;
Figure 95118DEST_PATH_IMAGE030
为地震数据去噪U-Net网络;
Figure 842495DEST_PATH_IMAGE031
为训练集中第i个含噪声地震数据块,
Figure 990579DEST_PATH_IMAGE032
为训练集中第i个含噪声地震数据块的标签。
5.根据权利要求3所述的基于卷积神经网络和视觉变换神经网络的地震去噪方法,其特征在于,所述步骤4中,具体包括以下步骤:
步骤4.1,将验证集中的含噪声地震数据块输入至训练后的地震数据去噪U-Net网络中,利用训练后的地震数据去噪U-Net网络去除含噪声地震数据块中的噪声,得到去除噪声后的地震数据;
步骤4.2,将去除噪声后的地震数据与验证集中含噪声地震数据块所对应的标签进行对比,计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值,并将误差值与预设的阈值进行比较;若误差值小于预设的阈值,则证明训练后地震数据去噪U-Net网络的去噪效果已达到最优,进入步骤5;否则,则返回步骤3,继续利用训练集训练地震数据去噪U-Net网络。
CN202211250180.XA 2022-10-13 2022-10-13 基于卷积神经网络和视觉变换神经网络的地震去噪方法 Active CN115330643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211250180.XA CN115330643B (zh) 2022-10-13 2022-10-13 基于卷积神经网络和视觉变换神经网络的地震去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211250180.XA CN115330643B (zh) 2022-10-13 2022-10-13 基于卷积神经网络和视觉变换神经网络的地震去噪方法

Publications (2)

Publication Number Publication Date
CN115330643A CN115330643A (zh) 2022-11-11
CN115330643B true CN115330643B (zh) 2022-12-30

Family

ID=83913911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211250180.XA Active CN115330643B (zh) 2022-10-13 2022-10-13 基于卷积神经网络和视觉变换神经网络的地震去噪方法

Country Status (1)

Country Link
CN (1) CN115330643B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116058803B (zh) * 2023-03-10 2024-04-19 南开大学 一种面向多类型噪声伪迹的eeg信号去噪方法
CN117250657B (zh) * 2023-11-17 2024-03-08 东北石油大学三亚海洋油气研究院 一种地震数据重建去噪一体化方法
CN117574056B (zh) * 2023-11-21 2024-05-10 中南大学 基于混合神经网络模型的广域电磁数据去噪方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法
CN112363216A (zh) * 2020-08-19 2021-02-12 中国石油大学(华东) 基于注意力机制的地震数据去噪方法
CN112418397A (zh) * 2020-11-19 2021-02-26 重庆邮电大学 一种轻量级卷积神经网络的设计方法
CN113034475A (zh) * 2021-03-30 2021-06-25 浙江工业大学 基于轻量级三维卷积神经网络的手指oct体数据去噪方法
CN113902757A (zh) * 2021-10-09 2022-01-07 天津大学 基于自注意力机制和卷积神经网络混合模型的血管分割方法
CN114141238A (zh) * 2021-11-26 2022-03-04 中国人民解放军陆军工程大学 一种融合Transformer和U-net网络的语音增强方法
CN114138919A (zh) * 2021-11-30 2022-03-04 河北工业大学 一种基于非局部注意力卷积神经网络的地震数据重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045419B (zh) * 2019-05-21 2020-10-16 西南石油大学 一种感知器残差自编码网络地震资料去噪方法
CN113156513B (zh) * 2021-04-14 2024-01-30 吉林大学 一种基于注意力引导的卷积神经网络地震信号去噪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248144A (zh) * 2017-04-27 2017-10-13 东南大学 一种基于压缩型卷积神经网络的图像去噪方法
CN112363216A (zh) * 2020-08-19 2021-02-12 中国石油大学(华东) 基于注意力机制的地震数据去噪方法
CN112418397A (zh) * 2020-11-19 2021-02-26 重庆邮电大学 一种轻量级卷积神经网络的设计方法
CN113034475A (zh) * 2021-03-30 2021-06-25 浙江工业大学 基于轻量级三维卷积神经网络的手指oct体数据去噪方法
CN113902757A (zh) * 2021-10-09 2022-01-07 天津大学 基于自注意力机制和卷积神经网络混合模型的血管分割方法
CN114141238A (zh) * 2021-11-26 2022-03-04 中国人民解放军陆军工程大学 一种融合Transformer和U-net网络的语音增强方法
CN114138919A (zh) * 2021-11-30 2022-03-04 河北工业大学 一种基于非局部注意力卷积神经网络的地震数据重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Conformer: Local Features Coupling Global Representations for Visual Recognition;Zhiliang Peng,et al.;《2021 IEEE/CVF International Conference on Computer Vision (ICCV)》;20220228;第357-364页 *
基于U-Net深度神经网络的地震数据去噪研究;张攀龙等;《金属矿山》;20200115(第01期);全文 *

Also Published As

Publication number Publication date
CN115330643A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN115330643B (zh) 基于卷积神经网络和视觉变换神经网络的地震去噪方法
WO2020168844A1 (en) Image processing method, apparatus, equipment, and storage medium
CN113674403B (zh) 一种三维点云上采样方法、系统、设备及介质
CN111369487B (zh) 一种高光谱和多光谱图像融合方法、系统及介质
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
Ni et al. Example-driven manifold priors for image deconvolution
CN111368710A (zh) 一种联合深度学习的地震数据随机噪声压制方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN115345790A (zh) 基于窗口的自注意力神经网络的探地雷达图像增强方法
CN112116064A (zh) 光谱超分辨自适应加权注意力机制深层网络数据处理方法
CN113920581A (zh) 一种时空卷积注意力网络用于视频中动作识别的方法
CN113888491A (zh) 基于非局部特征的多级高光谱图像递进超分方法及系统
CN116797461A (zh) 基于多级强化注意力机制的双目图像超分辨率重建方法
CN113362338A (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理系统
CN115019178A (zh) 一种基于大核卷积注意力的高光谱影像分类方法
CN116797640A (zh) 一种面向智能伴行巡视器的深度及3d关键点估计方法
CN116068644A (zh) 一种利用生成对抗网络提升地震数据分辨率和降噪的方法
CN113192076A (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
Chen et al. An image denoising method of picking robot vision based on feature pyramid network
CN112990215B (zh) 图像去噪方法、装置、设备及存储介质
CN111352159B (zh) 核范数与广义全变差联合约束的地震随机噪声压制方法
CN112084960B (zh) 一种基于稀疏图的人脸表情识别方法
Zhang et al. Feature Compensation Network Based on Non-Uniform Quantization of Channels for Digital Image Manipulation Forensics
CN118195901A (zh) 一种融合多维度自注意力的声呐图像盲超分辨率方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant