CN115561817A - 一种基于多重注意力机制的沙漠地震去噪方法 - Google Patents
一种基于多重注意力机制的沙漠地震去噪方法 Download PDFInfo
- Publication number
- CN115561817A CN115561817A CN202211245507.4A CN202211245507A CN115561817A CN 115561817 A CN115561817 A CN 115561817A CN 202211245507 A CN202211245507 A CN 202211245507A CN 115561817 A CN115561817 A CN 115561817A
- Authority
- CN
- China
- Prior art keywords
- layer
- denoising
- attention
- output
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000004913 activation Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 76
- 238000005070 sampling Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 22
- 238000004088 simulation Methods 0.000 description 16
- 230000010339 dilation Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 235000015220 hamburgers Nutrition 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
- G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
- G01V1/36—Effecting static or dynamic corrections on records, e.g. correcting spread; Correlating seismic signals; Eliminating effects of unwanted energy
- G01V1/364—Seismic filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V2210/00—Details of seismic processing or analysis
- G01V2210/30—Noise handling
- G01V2210/32—Noise reduction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Geology (AREA)
- Geophysics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Environmental & Geological Engineering (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种基于多重注意力机制的沙漠地震去噪方法，包括如下步骤：步骤一、构建初始基于多重注意力机制的去噪网络，包括依次连接的均值漂移层、卷积层、主激活函数层、第一增强注意力模块、监督注意模块、第二增强注意力模块、卷积层和均值漂移层；步骤二、对所述初始基于多重注意力机制的去噪网络进行训练，获得理想基于多重注意力机制的去噪网络；步骤三、将原始含噪地震信号输入所述理想基于多重注意力机制的去噪网络中，获得去噪的地震信号。本发明具有在低信噪比的情况下也能抑制随机噪声，恢复信号的特点。
Description
技术领域
本发明涉及地球物理技术领域，更具体的是，本发明涉及一种基于多重注意力机制的沙漠地震去噪方法。
背景技术
对于地震勘探来说，优良的地震记录意义重大。然而，由于长期大规模开采，现有自然资源主要分布在信号弱、信噪比(SNR)低的复杂地区，此外，在时域和频域，非相干噪声与信号重叠，这些特点都对去噪方法提出了更高的要求。
为了从噪声记录中提取信号，在过去的几年里，大量的传统去噪算法在这一领域中迅速发展。例如，初始随机降噪(L.L.Canales等人1984年)、小波变换(Z.Yu等人2017年)、curvelet变换(J.Li等人2017年)、轮廓波变换(R.Moore等人2014年)、经验模式分解(EMD)(M.Bekara等人2009年)、变分模式分解(VMD)(F.Li等人2018年)、f-x预测滤波(K.Chen etal.2017)、t-x(R.Abma et al.1995)、剪切波变换(C.Zhang et al.2018)、基于模型的优化方法和时频峰值滤波(TFPF)(B.Boashash.2004)等，这些方法对地震去噪的研究具有重要的指导意义，虽然上述经典方法可以在一定程度上提高去噪性能，但它们在很大程度上依靠于参数，这些参数由实地工作人员的经验以及特定的地质条件决定，考虑到需要处理的大量数据，如果使用这些方法，需要花费大量时间调整参数，此外，大多数方法依赖于高斯白噪声的假设，不仅忽略了频谱混叠这一现象，而且忽略了信号和噪声之间的相似性，也无法保持复杂地震数据的纹理特征，更加无法引入模糊(C.Yang等人，2021年)，也就是说，这些算法无法胜任当今研究中迫切需要的更复杂的情况。
近年来，卷积神经网络(CNN)因其在检测、分割、图像处理、估计、检索、等方面的广泛应用而成为研究人员关注的热点，与传统方法相比，基于CNN的算法不再需要关于信号或者噪声的先验信息，可以避免手动调整参数(Chao Zhang et al.2019)，可以更好地恢复被噪声覆盖的微弱信号，在CNN的基础上，已经产生了许多改进的方法，Zhang(2017)提出了卷积神经去噪网络(DnCNN)，它采用了卷积层、批量归一化层和ReLU函数的组合，并且，该算法使用了残差结构，提高了训练的稳定性和去噪能力，当使用量化指标和视觉质量作为评价指标时，DnCNN在处理已知和未知噪声水平的高斯噪声方面取得显著的成果，基于CNN的去噪方法侧重于由大量标记地震数据产生的非线性映射机制，从而从含噪数据中提取特征(D.Liu等人，2019年)，但是，基于神经网络的方法也存在一些缺点，首先网络之中存在大量的参数，需要根据经验调节；其次，神经网络容易出现过拟合的现象，处理结果中有可能出现原来不存在的一些信号等，这就对相关方法提出了很大的要求。
发明内容
本发明的目的是设计开发了一种基于多重注意力机制的沙漠地震去噪方法，通过两种注意力模块，从噪声记录中提取详细信息的基础上重复提取重要特征，增强了网络的去噪能力，在低信噪比下恢复地震数据中的有效信号。
本发明提供的技术方案为：
一种基于多重注意力机制的沙漠地震去噪方法，包括如下步骤：
步骤一、构建初始基于多重注意力机制的去噪网络；
其中，所述基于多重注意力机制的去噪网络包括依次连接的第一均值漂移层、卷积层、主激活函数层、第一增强注意力模块、监督注意模块、第二增强注意力模块、卷积层和第二均值漂移层；
所述第一增强注意力模块和第二增强注意力模块均由18层结构组成，第1层为膨胀卷积模块，第2-6层由卷积层和激活函数层依次间隔组成，第7层为卷积层，第8-13层由卷积层和激活函数层依次间隔组成，第14层为平均池化层，第15-17层由卷积层和激活函数层依次间隔组成，第18层为激活函数层，所述第1层的输入与第3层的输出组成残差结构作为第4层的输入，所述第4层的输入和第6层的输出组成残差结构作为第7层的输入，所述第7层的输出和第12层的输出组成残差结构作为第13层的输入，所述第13层的输出和第18层的输出组成残差结构作为第一增强注意力模块的输出；
所述膨胀卷积模块由第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层和第四膨胀卷积层组成，所述第一膨胀卷积层和第三膨胀卷积层的输入均为主激活函数层的输出，所述第一膨胀卷积层的输出作为第二膨胀卷积层的输入，所述第三膨胀卷积层的输出作为第四膨胀卷积层的输入，所述第二膨胀卷积层和第四膨胀卷积层的输出作为第2层的输入，所述第一膨胀卷积层的膨胀因子为1，所述第二膨胀卷积层的膨胀因子为2，所述第三膨胀卷积层的膨胀因子为3，所述第四膨胀卷积层的膨胀因子为4，所述第一增强注意力模块的第12层的卷积滤波器的尺寸设置为1×1，所述基于多重注意力机制的去噪网络中的其余卷积滤波器的尺寸均设置为3×3；
步骤二、对所述初始基于多重注意力机制的去噪网络进行训练，获得理想基于多重注意力机制的去噪网络；
步骤三、将原始含噪地震信号输入理想基于多重注意力机制的去噪网络的第一均值漂移层；
步骤四、经过所述主激活函数层处理后的数据依次进入第一增强注意力模块、监督注意模块和第二增强注意力模块；
步骤五、第二均值漂移层处理接收到的数据后输出，获得去噪的地震信号。
优选的是，所述膨胀卷积模块还包括：
多个激活函数层，其一一对应的设置在所述第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层和第四膨胀卷积层的输出端。
优选的是，所述监督注意模块由第一卷积层、第二卷积层和第三卷积层和副激活函数层组成；
其中，所述的第一增强注意力模块的输出作为第一卷积层和第二卷积层的输入，所述第二卷积层的输出与原始含噪地震信号组成残差结构作为第三卷积层的输入，所述第三卷积层的输出作为副激活函数层的输入，所述副激活函数层的输出与第一卷积层的输出组成一级残差结构并与第一增强注意力模块的输出组成二级残差结构后作为监督注意模块的输出。
优选的是，所述副激活函数层为Sigmoid函数。
优选的是，所述第一增强注意力模块和第二增强注意力模块的第18层为Sigmoid函数，所述第一增强注意力模块和第二增强注意力模块中的其他激活函数层均为ReLU函数。
优选的是，所述主激活函数层为ReLU函数。
优选的是，所述平均池化层的计算公式为：
y1＝fsig(fup(fReLU(fdown(favg(x1)))))×x1；
式中，x1为第一增强注意力模块或第二增强注意力模块的输入，y1为第一增强注意力模块或第二增强注意力模块对应的输出，favg为平均池化层，fdown为下采样层，fReLU为ReLU激活函数，fup为相应的上采样层，fsig为Sigmoid激活函数。
优选的是，所述理想基于多重注意力机制的去噪网络的性能满足：
式中，
为去噪网络处理后得到的去噪结果,M为含噪数据，
为去噪网络计算出的噪声,S为整体去噪网络结构，μ为去噪网络中的参数。
优选的是，所述去噪网络中的参数通过L1损失函数调整获得。
优选的是，所述对所述初始基于多重注意力机制的去噪网络进行训练的训练集包括纯净地震信号和噪声；
其中，所述纯净地震信号由雷克子波合成，且包含128条记录道，每道有1024个采样点，采样频率为512Hz；
所述噪声是从沙漠环境中收集的真实噪声记录中截取的，包含2332道数，每道有59998个采样点，并将噪声剪裁为与纯净地震信号相同的大小；
训练集使用时，调整噪声的倍数，使含噪沙漠信号的信噪比在-2dB到-6dB之间。
本发明所述的有益效果：
本发明设计开发的一种基于多重注意力机制的沙漠地震去噪方法，通过“通道间注意力机制——监督注意力机制——通道间注意力机制”这样的汉堡式注意力结构，可以更加有效地提取原始数据中的特征，进而提高网络整体的去噪能力。
附图说明
图1为本发明所述基于多重注意力机制的沙漠地震去噪方法的结构示意图。
图2为本发明所述EAM的网络示意图。
图3为本发明所述SAM的网络示意图。
图4为本发明所述模拟记录的纯净记录的示意图。
图5为本发明所述模拟记录的含噪记录的示意图。
图6为本发明所述模拟记录的带通滤波器去噪结果的示意图。
图7为本发明所述模拟记录的WNNM去噪结果的示意图。
图8为本发明所述模拟记录的DnCNN去噪结果的示意图。
图9为本发明所述模拟记录的去噪网络的示意图。
图10为本发明所述模拟记录的添加噪声的示意图。
图11为本发明所述模拟记录的带通滤波器去噪差值示意图。
图12为本发明所述模拟记录的WNNM去噪差值示意图。
图13为本发明所述模拟记录的DnCNN去噪差值示意图。
图14为本发明所述模拟记录的去噪网络去噪差值示意图。
图15为本发明所述模拟记录的纯净记录的F-K谱图示意图。
图16为本发明所述模拟记录的含噪记录的F-K谱图示意图。
图17为本发明所述模拟记录的带通滤波器去噪结果的F-K谱图示意图。
图18为本发明所述模拟记录的WNNM去噪结果的F-K谱图示意图。
图19为本发明所述模拟记录的DnCNN去噪结果的F-K谱图示意图。
图20为本发明所述模拟记录的去噪网络去噪结果的F-K谱图示意图。
图21为本发明所述模拟记录的带通滤波器去噪结果与纯净地震信号的单道对比图。
图22为本发明所述模拟记录的WNNM去噪结果与纯净地震信号的单道对比图。
图23为本发明所述模拟记录的DnCNN去噪结果与纯净地震信号的单道对比图。
图24为本发明所述模拟记录的去噪网络去噪结果与纯净地震信号的单道对比图。
图25为本发明所述6种不同网络结构去噪效果对比曲线图。
图26为本发明所述SAM单道与纯净信号单道对比曲线图。
图27为本发明所述EAM单道与纯净信号单道对比曲线图。
图28为本发明所述2EAM单道与纯净信号单道对比曲线图。
图29为本发明所述3EAM单道与纯净信号单道对比曲线图。
图30为本发明所述4EAM单道与纯净信号单道对比曲线图。
图31为本发明所述去噪网络单道与纯净信号单道对比曲线图。
图32为本发明所述实际地震数据的原始含噪地震信号示意图。
图33为本发明所述实际地震数据的带通滤波器去噪结果示意图。
图34为本发明所述实际地震数据的WNNM去噪结果示意图。
图35为本发明所述实际地震数据的DnCNN去噪结果示意图。
图36为本发明所述实际地震数据的去噪网络去噪结果示意图。
具体实施方式
下面结合对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
本发明提供的一种基于多重注意力机制的沙漠地震去噪方法，由三部分组成，包含了两个不同的特征注意力模块，即增强注意力模块中的通道间注意力机制和监督注意力模块，形成了一种汉堡式注意力机制结构，用于从地震数据中提取重要特征。具体包括：
1、构建初始基于多重注意力机制的去噪网络；
如图1所示，所述基于多重注意力机制的去噪网络包括依次连接的第一均值漂移层(M)、卷积层(Conv)、主激活函数层、第一增强注意力模块(EAM)、监督注意模块(SAM)、第二增强注意力模块、卷积层和第二均值漂移层；
即基于多重注意力机制的去噪网络由第一EAM、SAM和第二EAM三部分构成，第一EAM和第二EAM具有相同的结构，而SAM用于从数据中提取重要特征。
在第一个EAM的前面和第二个EAM的后面，分别使用第一均值漂移机制和第二均值漂移机制来消除噪声极值的影响，该算法基于核密度估计(KDE)，它推测所有数据点都是从概率分布中收集的，KDE主要在每个数据点上放置一个内核，然后添加每个内核以形成概率曲面，多元核密度估计公式由径向对称核导出，集群结果将受到带宽的深刻影响。
在本实施例中，经过大量实验，将第一均值漂移机制和第二均值漂移机制的RGB均值设置为0.4488，方差为1.0。
在本实施例中，主激活函数层为ReLU函数。
如图2所示，所述第一个EAM和第二个EAM均由18层结构组成，第1层为膨胀卷积模块，用来扩大网络的感受野，还可以保持内部数据结构，同时确保参数数量不变；第2-6层由卷积层和激活函数层依次间隔组成，第7层为卷积层，第8-13层由卷积层和激活函数层依次间隔组成，第14层为平均池化层，第15-17层由卷积层和激活函数层依次间隔组成，第18层为激活函数层，所述第1层的输入与第3层的输出组成残差结构作为第4层的输入，所述第4层的输入和第6层的输出组成残差结构作为第7层的输入，所述第7层的输出和第12层的输出组成残差结构作为第13层的输入，所述第13层的输出和第18层的输出组成残差结构作为第一增强注意力模块的输出；
其中，所述残差结构均为相乘。
所述膨胀卷积模块由第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层、第四膨胀卷积层和4个激活函数层组成，所述第一膨胀卷积层和第三膨胀卷积层的输入均为主激活函数层的输出，所述第一膨胀卷积层的输出通过1个激活函数层后作为第二膨胀卷积层的输入，所述第三膨胀卷积层的输出通过1个激活函数层后作为第四膨胀卷积层的输入，所述第二膨胀卷积层和第四膨胀卷积层的输出分别通过1个激活函数层后作为第2层的输入，第2层的卷积层作用是用来连接膨胀卷积模块的特征。
如果使用多个膨胀因子相同的膨胀卷积将带来网格效应，在图像领域，网格效应是指大量未经处理的像素，这一问题在地震领域中可能会破坏地震记录的连续性和完整性，因此，本发明使用四个具有不同膨胀因子的膨胀卷积层来包含所有特征，所述第一膨胀卷积层的膨胀因子为1，所述第二膨胀卷积层的膨胀因子为2，所述第三膨胀卷积层的膨胀因子为3，所述第四膨胀卷积层的膨胀因子为4，所述第一增强注意力模块的第12层的卷积滤波器的尺寸设置为1×1，所述基于多重注意力机制的去噪网络中的其余卷积滤波器的尺寸均设置为3×3；
其中，第4-6层的具有残差结构的卷积层用来从数据中学习特征，其后的7-11层是利用三层卷积对特征进行压缩，以提高计算速度，第12层的1×1卷积使得特征平坦化，最后的14-18层为注意力机制，即通道间注意力机制。
在传统的去噪方法中，不同的通道特征通常没有被区分，不适合恢复某些细节信息，更多的通道意味着每一层可以学习更多的细节信息，因此在基于多重注意力机制的去噪网络中加入了EAM，其内部的通道间注意力机制重点关注通道特征，同时，通过调整通过数量进而增强网络的计算能力，对于擅长处理并行计算的GPU而言，同时处理多个通道也较为方便，因此，为了专注于通道特征的一致性，对于通道间注意力机制，首先选择全局平均池化层来处理整体数据。
全局平均池化层的公式如下所示：
y1＝fsig(fup(fReLU(fdown(favg(x1)))))×x1；
式中，x1为第一增强注意力模块或第二增强注意力模块的输入，y1为第一增强注意力模块或第二增强注意力模块对应的输出，favg为平均池化层，fdown为下采样层，fReLU为ReLU激活函数，fup为相应的上采样层，fsig为Sigmoid激活函数。
上述模块必须考虑渠道的总体非线性协同效应和相互排斥的关系，因此，选择ReLU激活函数和sigmoid激活函数来实现这一目的，此外，Sigmoid激活函数的输出将与x1相乘来调整数据的维度。
在初第一个EAM和第二个EAM中，使用了大量的残差结构，众所周知，非线性激活函数(如ReLU)在增加拟合特性的同时，也为模块增加了非线性，但是，这些函数会降低维度，并导致某些数据崩溃，这个错误无法通过后续处理完全弥补，事实上，非线性激活层可以去除潜在的稀疏性，因此，对于一些稀疏性较小的数据，选择线性激活函数是非常合适的，因此，在所述第一个EAM和第二个EAM的第18层以Sigmoid函数作为激活函数，其他激活函数层均采用ReLU函数，这两种函数的组合可以保持完整性和非线性，并减少反向传播过程中梯度消失的可能性，并且由于参数的收敛速度更快，重复使用特征可以提高模块的学习速度。
如图3所示，所述SAM提供了有利于渐进去噪的含噪输入数据，在局部去噪中，形成注意力图是为了消除较不重要的特征，而使得较为重要的特征传递到下一个阶段。所述监督注意模块由第一卷积层(Conv1)、第二卷积层(Conv2)和第三卷积层(Conv3)和副激活函数层组成；
其中，用NH×NW来代表数据的维度，NC代表通道数，第一个EAM块的输出首先通过Conv2来形成一个残差记录A∈NH×NW×3，之后A与原始含噪地震信号相乘获得B∈NH×NW×3，随后，B∈NH×NW×3依次通过Conv3和Sigmoid激活函数来形成注意力掩膜C，第一个EAM块的输出之后又通过Conv1形成局部特征D，D与C相乘后获得特征E，用来校准特征，最后，输出E∈NH×NW×NC和第一个EAM块的输出作为SAM的输出即第二个EAM块的输入，等待进一步处理。
在本实施例中，所述副激活函数层采用Sigmoid函数。
所述基于多重注意力机制的去噪网络，用增强注意力模块中的通道间注意力机制，主要强调区分不同通道之间的区别，可以地震记录中提取到更全面的特征；对于监督注意力模块，主要是再次关注于输入的含噪记录，对已有特征进行进一步校准；通过“通道间注意力机制——监督注意力机制——通道间注意力机制”这样的汉堡式注意力结构，可以更加有效地提取原始数据中的特征，进而提高网络整体的去噪能力。
2、对所述基于多重注意力机制的去噪网络进行训练，获得理想基于多重注意力机制的去噪网络；
其中，为了增强模型的鲁棒性和处理能力，本发明在构建神经网络的训练集时，尽量扩大信号分布的范围，提高网络的处理能力。
训练集包括纯净地震信号和噪声，纯净地震信号是利用雷克子波构建，且包含128条记录道，每道有1024个采样点，采样频率为512Hz，反射波的频率在25Hz到40Hz之间；
噪声包含2332道数，每道有59998个采样点，在所述沙漠噪声记录中，选择多个不同的位置，将噪声剪裁为与模拟纯净沙漠信号相同的大小，即128道和1024个采样点；
在使用训练集进行训练时，通过调整噪声倍数，保证含噪沙漠信号的信噪比在-2dB到-6dB之间。
所有这些数值都是根据对现有地震记录的分析确定的，我们添加到纯净地震信号中的噪声是传感器在没有任何采矿活动时收集的真实噪声，因此，它包括一些环境噪声和背景噪声，并与实际沙漠噪声具有相同的统计和时频特性。
3、将原始含噪地震信号输入基于多重注意力机制的去噪网络的第一均值漂移层；
4、经过所述主激活函数层处理后的数据依次进入第一增强注意力模块、监督注意模块和第二增强注意力模块；
5、所述第二均值漂移层处理接收到的数据后输出，获得去噪的地震信号；
为了更好地理解地震数据的去噪原理，用以下的公式来说明：
M＝I+X；
本发明试图从含噪数据M中尽可能地恢复出纯净数据，习惯上用零均值高斯白噪声X来模拟观测到的实际噪声，用I来代表纯净记录。
可用下式来描述网络的性能：
式中，
为去噪网络处理后得到的去噪结果,M为含噪数据，
为去噪网络计算出的噪声,S为整体去噪网络结构，μ为去噪网络中的参数。
为了更好的评价网络的去噪性能，本发明使用L1损失函数来调整网络参数。
为了证明本发明所述去噪网络的去噪能力，选择带通滤波器、WNNM和DnCNN三种去噪方法与本发明所述的去噪网络进行对比。
首先，构建训练集，利用Ricker子波来构建纯净的模拟地震记录，合成记录包含128条记录道和1024个采样点，采样频率为512Hz。反射波的频率在25Hz到40Hz之间随机分布，纯净的模拟地震记录中的噪声是根据从沙漠环境中收集的真实噪声记录中截取并剪裁成与纯净的模拟地震记录信号相同的大小，并调整噪声倍数，保证含噪沙漠信号的信噪比在-2dB到-6dB之间。
合成地震记录、带通滤波结果、WNNM结果、DnCNN结果和去噪网络的信噪比分别为-6.0955dB、1.4317dB、-4.2590dB、-3.9084dB和15.6409dB。
如图4-9所示，带通滤波器可以保留有效信号，但不能最大限度地抑制噪声；当WNNM和DnCNN丢失大量信号时，去噪网络既能保留信号又能抑制噪声。
如图10-14所示，为四种方法对应的残差图，可以看出，现有的三种方法在残差图中都有一定程度的信号残留，并且没有完全抑制所有噪声，通过对比去噪网络的残差和噪声，这两个记录十分相似，再次验证了去噪网络的去噪性能。
如图15-20所示，为纯净地震信号、含噪信号和四种去噪方法的F-K谱图，本发明所述去噪网络的去噪结果F-K谱图与纯净地震信号的F-K谱图最为相似，这意味着本发明所述去噪网络可以保留几乎所有频带的信号，而WNNM和DnCNN会丢失大量信号，并且本发明所述去噪网络可以在保留信号的同时抑制噪声。
除此之外，为了进一步证明本发明所述去噪网络的去噪能力，使用这四种方法来处理更多的合成地震记录，处理结果如表1和表2所示，并且，这些记录与上述地震记录不同，这表明了本发明所述去噪网络的稳健性，选取信噪比和均方误差(MSE)来判断不同方法的性能，正如表格所示，即使在一些信噪比低于-5dB的极端情况下，本发明所述去噪网络也可以抑制噪声并保存大部分信号。
表1四种去噪方法处理七幅含噪记录的信噪比对比(单位：dB)
表2四种去噪方法处理七幅含噪记录的MSE对比
| 原始数据信噪比(dB) | Bandpass | WNNM | DnCNN | Ours |
| -9.7952 | 0.0238 | 0.0967 | 0.0228 | 0.0035 |
| -7.8570 | 0.0162 | 0.0579 | 0.0177 | 0.0023 |
| -5.3582 | 0.0104 | 0.0339 | 0.0152 | 0.0014 |
| -3.7746 | 0.0081 | 0.0252 | 0.0143 | 0.0012 |
| -1.8364 | 0.0062 | 0.0181 | 0.0133 | 0.0010 |
| 1.2617 | 0.0045 | 0.0114 | 0.0120 | 9.1292e-04 |
| 3.7604 | 0.0037 | 0.0091 | 0.0113 | 8.5203e-04 |
如图21-24所示，绘制了四种方法去噪结果的单道对比图，用于详细分析四种方法的保幅能力，其中，随机选取模拟去噪结果的第57条记录道，以便能更清楚地看到每条记录道的峰值，将四种方法的去噪结果与纯信号记录进行比较，分析不同方法的处理能力，如图23和图24中的峰值振幅，DnCNN的波峰峰值高于纯净记录，而本发明所述去噪网络的波峰峰值略低于噪声记录，这是因为大部分去噪方法在抑制噪声的同时都会对纯净地震信号造成一定的损失，考虑到这一现象，综合对比四种方法的去噪结果，本发明所述去噪网络对信号的损失最小，其他三种方法都会产生大量虚假信号，去噪结果的峰值与原始纯净地震信号的峰值差异较大，严重影响后续地层纹理的解释。
为了证明本发明所述去噪网络的网络结构的有效性，利用消融实验，对比不同网络结构的去噪效果。
表3不同网络结构去噪性能对比(信噪比单位：dB)
从表3可以看出，在四种不同的含噪信号信噪比条件下，本方法都可以展现出较好的去噪性能，其中，只使用一个EAM块效果较好，随着EAM块数量增加，去噪效果下降。图25为表3数据的折线图，从图中可以更加清楚的看出，本发明所述去噪网络相比消融实验中其他网络结构，具有较好的去噪性能。
此外，为了进一步证明本发明的去噪性能，对七种网络结构去噪结果的单道进行分析，将七种网络结构的去噪结果的单道分别与纯净信号的单道进行对比，结果分别如图26-图31所示，其中，单道对比选择含噪信号为-5.1330dB对应的去噪结果，选择数据中的第53条记录道。
从图26中可以看出，一个SAM结构对信号峰值回复效果较差；从图27中可以看出，一个EAM结构容易出现过度恢复现象，去噪结果波峰值均大于纯净信号，而且受噪声影响较为严重；从图28中可以看出，两个EAM结构受噪声影响较为严重，应当为0值的部分，均处理为正值；从图29中可以看出，三个EAM结构受噪声影响较为严重，应当为0值的部分，均处理为负值；从图30中可以看出，四个EAM结构容易出现过度恢复现象，去噪结果波谷值均大于纯净信号，而且受噪声影响较为严重；相比之下，图31中的本方法恢复效果较好，再一次证明了本发明所述去噪网络的去噪性能。
为了本发明的实际应用效果，使用在中国沙漠地区获得的一个公共炮点记录，如图32所示，该场反射记录的特征如下：121道，801道样本，2000μs样本间隔，许多微小的反射事件都被严重的随机噪声所覆盖，该幅记录中有大量难以提取的微弱信号。
如图33-36所示，对比四种方法的去噪结果，本发明所述去噪网络可以提取到更多的微弱信号，而其他三种方法都在一定程度上丢失微弱信号，此外，在信号较弱、被强噪声覆盖、不易识别的深层，与其他三种方法相比，本发明所述去噪网络可以提取到更多的微弱信号；带通滤波器不能保留记录中频率较低和较高的部分，这将严重影响后续反演工作的精度；WNNM严重降低了记录的分辨率，保留的信号太少，无法从记录中识别地面的整体结构。在记录中方块强调的部分，与其他方法相比，本发明所述去噪网络可以恢复出更多的微弱信号。虽然DnCNN在模拟记录方面去噪性能较好，但在实际记录中该方法无法提取微弱信号，在记录中黑色箭头强调的部分，与其他方法相比，本发明所述去噪网络恢复出的信号的连续性较好。
本发明设计开发的一种基于多重注意力机制的沙漠地震去噪方法，添加了两种注意力模块，用来从含噪数据中恢复微弱信号，其中，增强注意力模块中的通道注意力机制中包含软阈值机制，用来强调注意力特征图中较为重要的部分；监督注意力模块再次学习含噪数据中的结构，只让更加重要的特征传到下一个阶段。通过两种注意力机制形成的“通道间注意力机制——监督注意力机制——通道间注意力机制”这样的汉堡式结构，使得网络可以从不同的方面提取到原始数据中的有效特征，进而使得网络可以提取出一些被噪声掩盖的微弱信号。模拟数据和真实数据的去噪结果验证了本发明所述去噪网络的去噪性能，与其他三种方法相比，本方法的去噪性能较为优秀，训练时间更短、信号保存率更好。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实施例。
Claims (10)
1.一种基于多重注意力机制的沙漠地震去噪方法，其特征在于，包括如下步骤：
步骤一、构建初始基于多重注意力机制的去噪网络；
其中，所述基于多重注意力机制的去噪网络包括依次连接的第一均值漂移层、卷积层、主激活函数层、第一增强注意力模块、监督注意模块、第二增强注意力模块、卷积层和第二均值漂移层；
所述第一增强注意力模块和第二增强注意力模块均由18层结构组成，第1层为膨胀卷积模块，第2-6层由卷积层和激活函数层依次间隔组成，第7层为卷积层，第8-13层由卷积层和激活函数层依次间隔组成，第14层为平均池化层，第15-17层由卷积层和激活函数层依次间隔组成，第18层为激活函数层，所述第1层的输入与第3层的输出组成残差结构作为第4层的输入，所述第4层的输入和第6层的输出组成残差结构作为第7层的输入，所述第7层的输出和第12层的输出组成残差结构作为第13层的输入，所述第13层的输出和第18层的输出组成残差结构作为第一增强注意力模块的输出；
所述膨胀卷积模块由第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层和第四膨胀卷积层组成，所述第一膨胀卷积层和第三膨胀卷积层的输入均为主激活函数层的输出，所述第一膨胀卷积层的输出作为第二膨胀卷积层的输入，所述第三膨胀卷积层的输出作为第四膨胀卷积层的输入，所述第二膨胀卷积层和第四膨胀卷积层的输出作为第2层的输入，所述第一膨胀卷积层的膨胀因子为1，所述第二膨胀卷积层的膨胀因子为2，所述第三膨胀卷积层的膨胀因子为3，所述第四膨胀卷积层的膨胀因子为4，所述第一增强注意力模块的第12层的卷积滤波器的尺寸设置为1×1，所述基于多重注意力机制的去噪网络中的其余卷积滤波器的尺寸均设置为3×3；
步骤二、对所述初始基于多重注意力机制的去噪网络进行训练，获得理想基于多重注意力机制的去噪网络；
步骤三、将原始含噪地震信号输入理想基于多重注意力机制的去噪网络的第一均值漂移层；
步骤四、经过所述主激活函数层处理后的数据依次进入第一增强注意力模块、监督注意模块和第二增强注意力模块；
步骤五、第二均值漂移层处理接收到的数据后输出，获得去噪的地震信号。
2.如权利要求1所述的基于多重注意力机制的沙漠地震去噪方法，其特征在于，所述膨胀卷积模块还包括：
多个激活函数层，其一一对应的设置在所述第一膨胀卷积层、第二膨胀卷积层、第三膨胀卷积层和第四膨胀卷积层的输出端。
3.如权利要求2所述的基于多重注意力机制的沙漠地震去噪方法，其特征在于，所述监督注意模块由第一卷积层、第二卷积层和第三卷积层和副激活函数层组成；
其中，所述的第一增强注意力模块的输出作为第一卷积层和第二卷积层的输入，所述第二卷积层的输出与原始含噪地震信号组成残差结构作为第三卷积层的输入，所述第三卷积层的输出作为副激活函数层的输入，所述副激活函数层的输出与第一卷积层的输出组成一级残差结构并与第一增强注意力模块的输出组成二级残差结构后作为监督注意模块的输出。
4.如权利要求3所述的基于多重注意力机制的沙漠地震去噪方法，其特征在于，所述副激活函数层为Sigmoid函数。
5.如权利要求4所述的基于多重注意力机制的沙漠地震去噪方法，其特征在于，所述第一增强注意力模块和第二增强注意力模块的第18层为Sigmoid函数，所述第一增强注意力模块和第二增强注意力模块中的其他激活函数层均为ReLU函数。
6.如权利要求5所述的基于多重注意力机制的沙漠地震去噪方法，其特征在于，所述主激活函数层为ReLU函数。
7.如权利要求6所述的基于多重注意力机制的沙漠地震去噪方法，其特征在于，所述平均池化层的计算公式为：
y1＝fsig(fup(fReLU(fdown(favg(x1)))))×x1；
式中，x1为第一增强注意力模块或第二增强注意力模块的输入，y1为第一增强注意力模块或第二增强注意力模块对应的输出，favg为平均池化层，fdown为下采样层，fReLU为ReLU激活函数，fup为相应的上采样层，fsig为Sigmoid激活函数。
8.如权利要求7所述的基于多重注意力机制的沙漠地震去噪方法，其特征在于，所述理想基于多重注意力机制的去噪网络的性能满足：
式中，
为去噪网络处理后得到的去噪结果,M为含噪数据，
为去噪网络计算出的噪声,S为整体去噪网络结构，μ为去噪网络中的参数。
9.如权利要求8所述的基于多重注意力机制的沙漠地震去噪方法，其特征在于，所述去噪网络中的参数通过L1损失函数调整获得。
10.如权利要求9所述的基于多重注意力机制的沙漠地震去噪方法，其特征在于，所述对所述初始基于多重注意力机制的去噪网络进行训练的训练集包括纯净地震信号和噪声；
其中，所述纯净地震信号由雷克子波合成，且包含128条记录道，每道有1024个采样点，采样频率为512Hz；
所述噪声是从沙漠环境中收集的真实噪声记录中截取的，包含2332道数，每道有59998个采样点，并将噪声剪裁为与纯净地震信号相同的大小；
训练集使用时，调整噪声的倍数，使含噪沙漠信号的信噪比在-2dB到-6dB之间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211245507.4A CN115561817A (zh) | 2022-10-12 | 2022-10-12 | 一种基于多重注意力机制的沙漠地震去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211245507.4A CN115561817A (zh) | 2022-10-12 | 2022-10-12 | 一种基于多重注意力机制的沙漠地震去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115561817A true CN115561817A (zh) | 2023-01-03 |
Family
ID=84744171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211245507.4A Pending CN115561817A (zh) | 2022-10-12 | 2022-10-12 | 一种基于多重注意力机制的沙漠地震去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115561817A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116520401A (zh) * | 2023-05-18 | 2023-08-01 | 四川鹭羽科技有限公司 | 一种基于注意力机制的地震数据去噪方法 |
-
2022
- 2022-10-12 CN CN202211245507.4A patent/CN115561817A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116520401A (zh) * | 2023-05-18 | 2023-08-01 | 四川鹭羽科技有限公司 | 一种基于注意力机制的地震数据去噪方法 |
| CN116520401B (zh) * | 2023-05-18 | 2024-02-27 | 四川鹭羽科技有限公司 | 一种基于注意力机制的地震数据去噪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhu et al. | Seismic signal denoising and decomposition using deep neural networks | |
| Liu et al. | Random noise suppression in seismic data: What can deep learning do? | |
| Yang et al. | Random noise attenuation based on residual convolutional neural network in seismic datasets | |
| CN108107475B (zh) | 基于经验小波变换和多阈值函数的井中微地震去噪方法 | |
| CN108845352B (zh) | 基于vmd近似熵与多层感知机的沙漠地震信号去噪方法 | |
| Meng et al. | Self-supervised learning for seismic data reconstruction and denoising | |
| CN113935467B (zh) | 基于迭代多尺度注意力网络的das井中勘探数据噪声抑制方法 | |
| CN115877461A (zh) | 一种基于多尺度注意力交互网络的沙漠地震噪声抑制方法 | |
| CN110646851B (zh) | 一种基于Shearlet变换的自适应阈值地震随机噪声压制方法 | |
| Dong et al. | A deep-learning-based denoising method for multiarea surface seismic data | |
| CN111580162A (zh) | 基于残差卷积神经网络的地震资料随机噪音压制方法 | |
| CN105182418A (zh) | 一种基于双树复小波域的地震信号降噪方法及系统 | |
| CN110068865A (zh) | 一种基于几何纹理噪声估计的低秩矩阵逼近的沙漠地震噪声压制方法 | |
| CN115561817A (zh) | 一种基于多重注意力机制的沙漠地震去噪方法 | |
| CN108428221A (zh) | 一种基于shearlet变换的邻域双变量阈值去噪方法 | |
| Li et al. | Distributed acoustic sensing vertical seismic profile data denoising based on multistage denoising network | |
| CN110780349A (zh) | 一种基于增强块匹配精度的加权核范数最小化算法及沙漠地震中低频噪声抑制方法和应用 | |
| Zhou et al. | Unsupervised machine learning for waveform extraction in microseismic denoising | |
| CN109212608B (zh) | 基于3D shearlet变换的井中微地震信号去噪方法 | |
| CN116594061B (zh) | 一种基于多尺度u形注意网络的地震数据去噪方法 | |
| Lin et al. | Research on microseismic denoising method based on CBDNet | |
| CN113158830A (zh) | 一种剩余重力异常场分离方法 | |
| Fang et al. | Mask-guided model for seismic data denoising | |
| CN116184502A (zh) | 一种基于子空间投影注意力网络的井中das噪声抑制方法 | |
| Menaka et al. | Change detection in deforestation using high resolution satellite image with Haar wavelet transforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |