CN114418886B - 一种基于深度卷积自编码器的鲁棒性去噪方法 - Google Patents
一种基于深度卷积自编码器的鲁棒性去噪方法 Download PDFInfo
- Publication number
- CN114418886B CN114418886B CN202210060290.3A CN202210060290A CN114418886B CN 114418886 B CN114418886 B CN 114418886B CN 202210060290 A CN202210060290 A CN 202210060290A CN 114418886 B CN114418886 B CN 114418886B
- Authority
- CN
- China
- Prior art keywords
- robust
- noise
- denoising
- rdcae
- seismic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000013598 vector Substances 0.000 claims description 7
- 239000002356 single layer Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 19
- 238000004422 calculation algorithm Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 abstract description 4
- 230000002238 attenuated effect Effects 0.000 abstract description 3
- 230000001629 suppression Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 53
- 230000001788 irregular Effects 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 12
- 239000010410 layer Substances 0.000 description 12
- 230000009467 reduction Effects 0.000 description 9
- 238000001914 filtration Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度卷积自编码器的鲁棒性去噪方法，应用于地震图像去噪领域，针对现有技术存在的依赖于高质量、无噪声的地面真实地震数据，而在地震去噪任务中获取无噪声地震图像往往具有挑战性，甚至是不可行的问题；本发明改进RDCAE模型，利用鲁棒图像去噪的概念，用平滑的Welsch函数代替了经典DCAE中的均方误差(MSE)损失。在这方面，通过Welsch函数定义的抑制权值向下加权不稳定噪声。相比之下，通过将Welsch函数中的均方和总变差(TV)相结合来衰减随机噪声。随后，根据神经网络的BP算法推导RDCAE所需的训练过程。在合成的和真实的现场数据集上都进行了实现，实验结果表明了该方法的有效性。
Description
技术领域
本发明属于图像处理领域，特别涉及一种地震图像去噪技术。
背景技术
在地震现场采集过程中，不可避免地会引入噪声，从而严重损害采集到的地震图像的质量。从获取的地震图像中去除噪声是地震数据处理和各种地震解释任务中不可缺少的步骤。一般来说，这种噪声根据其可预测性分为相干噪声和非相干噪声两类。相干噪声通常在多个道集上具有一致的相位，如地滚和多次波，而非相干噪声在所有道集上是不同的，特别是包括高斯噪声和不规则噪声。
为了消除高斯随机噪声，在过去的几十年里，在图像处理和地震数据分析的交叉点上，人们一直在寻找一种高效的地震图像去噪算法。最近，在地震文献中记录了大量的去噪算法，大致分为三类:空间域滤波、稀疏表示(SR)和低秩近似(LRA)。对于空间域滤波，去噪结果由滤波系数与空间掩码邻域包含的相应图像像素的乘积之和给出。典型的滤波包括非局部均值滤波、中值滤波、形态滤波和非线性扩散滤波。SR是压缩感知领域的一种新兴技术，它可以在给定的稀疏变换中以尽可能少的系数表示无噪声地震数据，而高斯随机噪声则不能。有几种稀疏变换可用于图像变化，如wavelet，curvelet，shearlet变换，字典学习。在LRA中，地震图像去噪是通过对数据矩阵或张量的各种降秩方法来实现的，如矩阵LRA，基于Hankel矩阵的LRA逼近，张量奇异值分解(tSVD),和CANDECOMP/PARAFAC(CP)分解。
显然，基于高斯分布假设的经典去噪方法不能通过添加不稳定噪声来有效地去噪地震图像。所有这一切都是由于统计性质上的不稳定噪声在空间方向上更可能是非高斯的，在叠前地震道记录的脉冲信号中突然上升。这些突然的不稳定噪声脉冲来自于空气爆炸、电线和其他噪声、地震检波器耦合不良等等。补偿这类噪声的最好方法是使用鲁棒范数。使用鲁棒范数的两种方法:直接关注不稳定噪声，或通过损失函数间接关注。前者受到鲁棒主成分分析(robust principal component analysis,RPCA)的启发，从损坏的观测数据中恢复一个低秩的无噪声矩阵，而不稳定噪声项可以任意大，但假设是稀疏的(受鲁棒l1范数约束)。这些方法的例子包括经典的，非局部，lp和基于卷积神经网络(CNN)的RPCA。同时，基于无噪声数据服从低秩或变换域稀疏结构的假设，后一种方法是用鲁棒函数或范数替换数据保真项的对离群值敏感的l2范数，如Huber函数或Tukeys biweight函数。这个准则是在平滑处理小残差(即高斯随机噪声)和稳健处理大残差(即不规则噪声)之间插值的鲁棒误差度量。然而，这种方法的性能存在一定的局限性，因为它们隐含地依赖于低秩或稀疏性的手工假设，为提高去噪性能具有一定的局限性。
近年来，深度学习(DL)在地震图像去噪方面得到了蓬勃发展。与传统的去噪方法不同的是，DL方法总是试图直接建立一个从噪声地震图像到清晰图像的全面映射，不需要任何假设。目前，基于DL的去噪模型倾向于集中去噪高斯噪声，通常采用各种DL网络来最小化基于均方误差(MSE)的损失函数。这些网络包括CNN，3D去噪CNN(3D-DnCNN)，生成对抗网络(GANs)，深度卷积自动编码器(DCAE)和3D DCAE。这种情况对于训练DL网络来处理非高斯分布引起的不稳定噪声尤其麻烦，训练过程中不稳定噪声或地震图像的必须是地面真实数据。然而，尽管已经取得了优异的性能，但收集不稳定的噪声/干净的地震图像对并非易事。
发明内容
为解决上述技术问题，本发明用鲁棒且平滑的welsch函数取代深度AE中的MSE损失函数，得到了一个新的鲁棒版本的DCAE(本发明中记为RDCAE，robust deepconvolutional autoencoder)，特别适合于地震的不稳定性噪声衰减。
本发明采用的技术方案为：一种基于深度卷积自编码器的鲁棒性去噪方法，采用鲁棒深度卷积自动编码器提取输入图像的特征向量，利用单层解码器将特征向量映射到去噪后的图像上；所述鲁棒深度卷积自动编码器的鲁棒重构损失函数采用welsch函数。
采用welsch函数，得到的鲁棒重构损失函数表达式为：
其中，
表示鲁棒重构损失函数，||·||w表示welsch鲁棒范数，表示输入的图像，Dθ(·)表示编码网络，Eθ(·)表示解码网络，θ为网络参数。
还包括加在鲁棒重构损失中加入TV正则项，表达式为：
其中，
表示加入TV正则项后的损失函数，
表示TV正则项，λ是控制正则化强度的超参数。
通过反向传播方法训练鲁棒深度卷积自动编码器使得鲁棒重构损失函数最小化。
本发明的有益效果：本发明提出了一种基于RDCAE的地震图像去噪方法，以无监督的方式去除混合高斯噪声和不稳定噪声。在本发明的方法中，去噪问题被建模为一个基于Welsch损失函数的DCAE问题。更准确地说，在本发明设计的RDCAE网络中，不稳定的噪声通过Welsch函数学习的权值来降低权重，而随机噪声通过Welsch函数的均方和总变异的组合来衰减；然后，基于BP算法推导出训练方案，利用二维地震图像数据集对设计的RDCAE进行有效训练。在合成数据集和实际数据集上的实验表明，与某些SOTA方法相比，本发明所提出的去噪方法能有效去除混合高斯噪声和不稳定噪声。
附图说明
图1为本发明采用的Welsch损失函数与现有的l2损失函数，Huber损失函数和Tukey的biweight损失函数比较；
图2Welsch损失函数及其梯度对其形状参数的不同值；
其中，(a)为损失函数在不停形状参数下的形状，(b)为损失函数梯度在不同形状参数下的形状；
图3RDCAE模型示意图；
图4本发明提出的RDCAE网络以带噪声的地震图像为输入，直接输出去噪后的图像；
图5利用不同方法对合成数据进行去噪比较；
其中，(a)为采用DCAE对合成数据的去噪结果，(b)为采用DMSSA对合成数据的去噪结果，(c)为采用IRSPF对合成数据的去噪结果，(d)为采用本发明的RDCAE对合成数据的去噪结果，(e)为采用DCAE去掉的噪声部分，(f)为采用DMSSA去掉的噪声部分，(g)为采用IRSPF去掉的噪声部分，(h)为采用本发明的RDCAE去掉的噪声部分，(i)为DCAE降噪后的结果和所去掉的噪声部分进行局部相似度比较结果，(j)为DMSSA降噪后的结果和所去掉的噪声部分进行局部相似度比较结果，(k)为IRSPF降噪后的结果和所去掉的噪声部分进行局部相似度比较结果，(l)为本发明的RDCAE降噪后的结果和所去掉的噪声部分进行局部相似度比较结果；
图6为本发明方法与DCAE、DMSSA、IRSPF各自去噪结果与干净数据的比较；
其中，(a)为DCAE的去噪结果和干净数据的比较，(b)为用DMSSA的去噪结果和干净数据的比较，(c)为用IRSPF的去噪结果和干净数据的比较，(d)为用本发明的RDCAE的去噪结果和干净数据的比较；
图7使用DCAE和RDCAE学习的深度特征的可视化；
其中，(a)为DCA从原始地震图像中获得的深度特征，(b)为RDCAE从原始地震图像中获得的深度特征，(c)为DCAE从带有附加随机噪声和不规则噪声的地震图像中学习到的深度特征，(d)为RDCAE从带有附加随机噪声和不规则噪声的地震图像中学习到的深度特征；
图8为三维9-C合成VSP数据；
其中，(a)为地面真实的数据，(b)为混合的随机和不稳定噪声，(c)为混合了噪声的数据；
图9为三维9-C人造VSP数据在不同方法上的去噪比较；
其中，(a)为采用DCAE对三维9-C人造VSP数据的去噪结果，(b)为采用DMSSA对三维9-C人造VSP数据的去噪结果，(c)为采用IRSPF对三维9-C人造VSP数据的去噪结果，(d)为采用本发明的RDCAE对三维9-C人造VSP数据的去噪结果，(e)为采用DCAE去掉的噪声部分，(f)为采用DMSSA去掉的噪声部分，(g)为采用IRSPF去掉的噪声部分，(h)为采用本发明的RDCAE去掉的噪声部分，(i)为DCAE降噪后的结果和所去掉的噪声部分进行局部相似度比较结果，(j)为DMSSA降噪后的结果和所去掉的噪声部分进行局部相似度比较结果，(k)为IRSPF降噪后的结果和所去掉的噪声部分进行局部相似度比较结果，(l)为本发明的RDCAE降噪后的结果和所去掉的噪声部分进行局部相似度比较结果；
图10为一种混合随机和不稳定噪声的真实海洋地震数据；
图11为不同方法对不规则噪声海洋地震数据去噪的比较；
其中，(a)为采用DCAE对不规则噪声海洋地震数据的去噪结果，(b)为采用DMSSA对不规则噪声海洋地震数据的去噪结果，(c)为采用IRSPF对不规则噪声海洋地震数据的去噪结果，(d)为采用本发明的RDCAE对不规则噪声海洋地震数据的去噪结果，(e)为采用DCAE去掉的噪声部分，(f)为采用DMSSA去掉的噪声部分，(g)为采用IRSPF去掉的噪声部分，(h)为采用本发明的RDCAE去掉的噪声部分，(i)为DCAE降噪后的结果和所去掉的噪声部分进行局部相似度比较结果，(j)为DMSSA降噪后的结果和所去掉的噪声部分进行局部相似度比较结果，(k)为IRSPF降噪后的结果和所去掉的噪声部分进行局部相似度比较结果，(l)为本发明的RDCAE降噪后的结果和所去掉的噪声部分进行局部相似度比较结果。
具体实施方式
为便于本领域技术人员理解本发明的技术内容，下面首先对本发明涉及的现有技术进行说明：
实施例1
本实施例给出本发明方法的推导过程：
A.深度卷积自编码器
一个典型的DCAE是由编码网络和译码网络组成的端到端模型。首先，一个深度卷积编码器对输入图像进行操作，以提取重要的，去噪的，非冗余的特征向量。然后，利用单层解码器将特征向量映射到去噪后的图像上。给一个输入xn,n＝1…N，每层的隐性表征定义如下：
这里的(·)T为矩阵的转置，N代表输入样本对的个数。基于结构对称性，解码器大致组织成与编码器相反的结构。其目的是通过最小化重构误差损失使该DCAE模型与数据拟合，如下所示:
其中
为DCAE模型网络参数。
B.鲁棒损失函数
由于常用的l2范数损失不具有异常值鲁棒性，因此地震的不稳定噪声影响了常规去噪方法的性能。这就迫切需要设计具有异常值鲁棒性的损失函数。然而，在继续推导鲁棒DCAE之前，首先回顾一些用于不规则噪声衰减的鲁棒损失函数，它们是引入welsch函数的基础，如图1所示。
(1)Huber函数：在“Q.Zhao,Q.Du,X.Gong,and Y.Chen,“Signalpreservingerratic noise attenuation via iterative robust sparsity-promoting filter,”IEEE Transactions on Gescience and Remote Sensing,vol.56,no.6,pp.35473560,2018.”中，使用Huber范数被用作促进稀疏性目标的正则化，使其对不规则噪声具有鲁棒性：
这个函数对于小c值是二次的，并对较大的值，渐近线性地惩罚不稳定噪声。
(2)Tukey的biweight函数：Tukey的biweight函数起初表现与Huber函数相似，但对于较大的不规则噪声，该函数在低秩近似时逐渐减弱。
(3)Welsch函数：但是，由于上述两个损失函数都不是平滑的，并且存在奇点，所以DCAE使用同样的方式是不合适的。DCAE是基于梯度的优化方法来估计不确定参数，在此基础上引入一种平滑的鲁棒损失，即。
Welsch的罚函数在形状上接近于Tukey的biweight函数(见图1)，但由于Welsch损失函数是有界的、光滑的、非凸的，对异常值具有很强的鲁棒性，因此可以通过梯度下降或其他相关方法将其最小化。
地震不规则噪声衰减的目的是从一个观测的有噪声图像
中重建一个未知的无噪声地震图像
这里的N1和N2分别代表时间样本和道集的个数。简单地说，正向观测数据可以写成
Y＝X+E+N (6)
这里
为非相干噪声，即不稳定噪声，
高斯随机噪声，建立去噪方法后也可以去除。
地震不稳定噪声衰减可以理解为一个未确定的反问题，如果不加入额外的信息(先验知识)来进一步约束解，则该反问题无法找到唯一解。为了利用附加约束，需要将式(6)表示为以下约束优化问题:
这里||·||ρ代表Huber或Tukey鲁棒范数，A(·)表示线性变换，例如稀疏变换或Hankel变换，其中
表示潜在的地震图像X的一些正则化函数，参数γ用来调整
例如，如果方程(7)是一个稀疏模型，那么
这里的||·||1表示l1范数。由方程(7)可以明显的看出，其去噪性能在很大程度上依赖于正则化函数
即地震图像的先验。目前，基于DL的图像去噪方法将这个问题转化成为一个学习问题：
在这种情况下，使用大规模向量
通常可以将X建模为一个参数化的函数hθ(·)，这是一个基于DL的去噪器。基于DL的去噪定义引用方程(8)，本发明可以重写方程(7)为：
值得注意的是，式(9)构建了一种基于DL的地震数据无监督去噪算法。现有的监督DL方法不需要使用鲁棒范数，通过样本训练，利用CNN直接实现了不规则噪声的衰减。然而，它们的优越性能依赖于高质量、无噪声的地面真实地震数据，而在地震去噪任务中获取无噪声地震图像往往具有挑战性，甚至是不可行的。
为解决公式(9)存在的问题，本发明的方法建立了地震不稳定噪声衰减的RDCAE模型。然后，引入BP算法求解新的模型参数。本发明的方法具体包括以下两个部分
1、鲁棒深度卷积自动编码器RDCAE
使用卷积层构造的DCAE可以有效地对地震图像进行无监督去噪，因而可以使用DCAE从损坏的地震图像中恢复清晰的图像
其中，Dθ(·)表示编码网络，Eθ(·)表示解码网络。
然而，这样的DCAE模型不能直接用于本发明的不规则的噪声衰减问题，因为式(2)中的l2范数只能去除随机噪声。
本发明用Welsch损失函数代替l2范数，得到稳健DCAE的目标函数(RDCAE)。
这里的||·||w表示welsch鲁棒范数。选择welsch范数背后的基本思想是，对较大的误差赋予较小的权重，因此，最终的解不会受到较大误差的严重影响。在鲁棒的welsch损失函数的帮助下，RDCAE更容易从Y中去除随机噪声和异常值(即不稳定的噪声)，然后以无监督的方式完美恢复清晰的地震图像
如图3所示。同时，welsch损失在Y，θ和c方面是平滑的，因此适合基于梯度的输入和参数优化。这正是RDCAE想要的。为了保证在去噪的过程中保留清晰的细节，在鲁棒重构损失中加入了TV正则项。利用这个TV，可以将式(11)改写为：
这里的
表示TV正则项，对地震图像的局部平滑性进行编码。λ是控制正则化强度的超参数，TV正则化的定义如下：
这里的
表示沿inline(crossline)方向的梯度算子。
一般来说，方程(12)中的优化问题在计算上是可处理的，如式子(2)。特别地，本发明通过反向传播(BP)使重构误差(12)最小化来训练RDCAE。然而，||·||w更巧妙，因为它不能以相同的方式处理基于l2范数的BP算法。
2、RDCAE网络优化
在参数学习阶段，本发明使用BP算法来调整参数θ，使式子(12)中的
最小化。为了研究Walsch函数在去除不稳定噪声中的作用，有必要为RDCAE提供BP算法的详细推导。这里的
是表示关于Yn,θ的函数。
首先，应该确定梯度下降如何修改Wl-1和Bl
其中α代表学习率，是优化算法的一个可调整的参数，决定了每次迭代的步长。这两个公式为理解梯度下降的影响提供了两个关键的步骤。第一个步骤是计算
偏导数，同时把Bl看作常数，其具体的数学形式如下：
首先考虑
它很容易通过(11)求导来计算：
这里的Z=Yn-Xn,l表示Yn和Xn,l之间的重建误差，ρ′ω(·)表示ρω(z,c)对z求导，如图2(b)所示为welsch函数梯度在不同形状参数的形状，welsch函数梯度计算式为：
接下来，通过式子(13)求导得到
其中div(·)计算给定矩阵的散度。第二个关键步骤是计算
与δWl类似，这一项可以改写为：
现在来计算剩下的导数
和
公式(1)对Wl-1求导，得到
如下所示：
其中，σ′表示σ对它的参数求导。然后，公式(1)对偏差Bl求导。
通过推导上面提到的这些导数，可以获得对反向传播的关键见解。同时，理解方程(16)和(20)如何被分解成新的交替更新的
和
鲁棒加权是至关重要的。
本发明采用一个基本卷积自动编码器作为本发明提出的不稳定噪声抑制算法的框架，通常由卷积层(Conv)，池化层和上采样层组成，如表1所示。如果可用的计算资源充足，可以方便地选择更多的SOTA DCAE(如transformer DCAE)嵌入到本发明的RDCAE框架中，这样可以获得更好的降噪效果。在RDCAE中，赋予网络名称的卷积层对模型至关重要，如表1所示。在编码器和解码器中，该模型都有七个卷积层(内核大小是3×3)，每个卷积层都使用ReLU激活函数。此外，在编码器的卷积层之后，引入一个新的最大池化层，其维度大小为2×2。与最大池化层相反的是两个上采样层，它们在解码器中以最纯粹的形式调整地震图像的大小。
表1RDCAE深度学习模型的参数
| No. | Network Layer Type | #kernels |
| 1 | Conv1 | 3×3×32 |
| 2 | MaxPooling1 | 2×2 |
| 3 | Conv2 | 3×3×64 |
| 4 | Conv3 | 3×3×32 |
| 5 | MaxPooling2 | 2×2 |
| 6 | Conv4 | 3×3×32 |
| 7 | Unsampling1 | 22×25 |
| 8 | Conv6 | 3×3×64 |
| 9 | Conv7 | 3×3×32 |
| 10 | Unsampling2 | 44×50 |
| 11 | Conv8 | 3×3×1 |
训练样本的构造方法根据输入数据类型的不同而不同，分为基于图像的方法和基于图像块的方法。对于三维地震数据情况，可以直接使用单个叠前图像作为一个训练样本χi，并对RDCAE网路进行训练。基于图像构造的概念与目前基于深度学习的图像降噪的思想类似。然而，在实际应用中，叠前图像只有一张，比如尺度为几百乘以几百大小的，通过将这个几百乘以几百的图像，切成几十乘以几十的图像块，可以确保本发明有足够的训练样本。
实施例2
本实施例结合具体数据将本发明的方法与现有技术的去噪效果进行比较：
A1、给出去噪效果用于比较的性能指标：
使用信噪比(SNR或S/N)和局部相似性将本发明的RDCAE与这些SOTA方法的性能进行了定量比较，实际上本发明也必须放弃这些结果的视觉对比。由于在合成实验中，地面真实情况是已知的，可以利用信噪比进行定量评价。具体地说，噪比是对期望地震图像的高斯随机和不稳定噪声水平的度量，其定义如下：
其中
和X分别表示去噪后和地面实况图像的结果。但是考虑到真实实验中没有地面状况，RDCAE算法的性能只用局部相似性指标而不是信噪比来评估。这里需要注意的关键点是，局部相似性可以构想出一个尺度来度量泄漏信号，具体来说，是通过计算去噪结果与噪声之间的局部相似性。如果在噪声部分泄漏了的额外信号，它将是高的相似图。
A2、给出参与比较的现有基线算法：
本领域技术人员可以从现有的技术中选择三种基线方法，为了应对不稳定的噪声衰减挑战，对它们进行了最小化的调整，他们具体描述如下：
1)DCAE：为了突出本发明的改进对异常值抑制的影响，本发明发现有必要引入DCAE来比较本发明提出的算法。这种DCAE是对经典自编码器的一种随机拓展，也就是说，本发明强迫模型在给定噪声版本的情况下学习重构。
2)IRSPF：IRSPF是一种SOTA稀疏域阈值滤波器，使用鲁棒Huber范数而不是传统的l2范数。受益于Huber范数在去除高斯随机和不稳定噪声中的有效应用。
3)DMSSA：DMSSA声称干净的地震数据是低秩的，而这种利用不稳定噪声和高斯随机噪声的污染性操作可以增加矩阵的秩。因此，很自然的通过降秩算法从有噪声的数据中去除这些噪声。
此外，为了公平比较，本实施例使用相同的基本模型架构和DCAE训练数据进行了不稳定去噪比较。在算法参数方面，本实施例也确保了几乎每一个可能运行的参数都经过仔细的调整，表现出统一的性能。
A3、进行参数设置
本发明的网络架构的实现在这里仍需要预先设置两类参数：目标函数的参数和训练算法的参数。在这个RDCAE中，目标函数有两个主要参数需要配置：Welsch函数的形状参数c和权衡值λ这里，其中，本实施例为合成数据集设置c＝0.27和λ＝4e-5，为合成VSP数据集设置c＝0.1和λ＝1.9e-9，为实际的海洋数据设置c＝0.1和λ＝2.5e-5。对于RDCAE的训练，本实施例用Adam优化器最小化Welsch损失函数，Adam优化器的最佳学习率取决于RDCAE模型结构和训练数据集。
通常情况下，在RDCAE中，对于合成数据集和真实的野外海洋数据集，学习率被设定为1e-3，而合成的VSP数据集学习率被设定为1e-5。标准的BP确保以批处理模式进行权重更新，对于合成-1数据集和真实的海洋数据集batch size都设置为5，对于合成VSP数据集batch size设置为20。
表2与现有方法的性能比较
| Methods | Synthetic Dataset | Synthetic VSP Dataset |
| DCAE | 02.57dB | 11.06dB |
| DMSSA | 13.53dB | 02.39dB |
| IRSPF filtering | 13.33dB | 05.62dB |
| 本发明的RDCAE | 15.66dB | 11.54dB |
A4、给出在合成数据上的验证结果：
A41、第一个合成数据使用与IRSPF方法相同的数据集
作为一种典型的无监督学习方法，本发明提出的RDCAE网络以带噪声的地震图像为输入，直接输出去噪后的图像。在合成实验中，本发明将给定信噪比的随机噪声和不稳定噪声加到原始图像中作为训练时的噪声输入图像。第一个例子使用与IRSPF方法相同的数据集，故意添加了混合随机和不稳定的噪声，SNR＝-2.15，如图4所示。值得注意的是，不稳定的噪声大约遵循沿着跟踪方向的随机分布。
图5给出了三者之间的恢复效果、残差和局部相似值。在降噪效果方面，RDCAE的结果比所示的其他三种SOTA算法更接近清晰数据，如图5(a)-(d)。再结合图5(e)-(h)对应的噪声部分和图5(i)-(l)相似的部分，可以看到IRSPF和DMSSA的强泄漏信号严重限制了它们去噪性能的提高，而DCAE在去噪后的图像中仍然留下了大量的噪声。此外，为了更直观的观察信号泄漏情况，设计同道时间线比较，如图6所示。可以明显看出，RDCAE比SOTA更接近地真实波形，而SOTA与数据的偏差较大。除了视觉上的比较外，还利用信噪比对RDCAE和SOTA方法进行了定量比较，见表2。本发明的RDCAE模型达到15.66dB，而DCAE、DMSSA和IRSPF技术分别达到02.57dB、13.53dB和13.33dB。因此，从图6和表2可以看出，本发明提出的RDCAE能够在牺牲尽可能少的有用信号的同时保持最好的去噪结果。
为了进一步验证鲁棒Welsch函数对RDCAE的好处，本实施例建议将从输入的地震图像中提取的深层特征可视化，以检查不稳定的噪声降噪性能。DCAE和RDCAE学习的深度特征如图7所示。在有清晰的地震图像的情况下，DCAE和RDCAE都学习到了有用的特征，如图7(a)和(b)所示。两种方法学习到的特征在图像形状方面相似，但数值不同。当地震图像含有不稳定的噪声时，传统的DCAE无法有效地学习到像图7(c)所示有异常值或噪声的特征。这是因为基于MSE的重构损失主要由异常值造成的大值所控制，因此DCAE模型不能得到很好的训练。相比之下，RDCAE方法对异常值具有更强的鲁棒性，并保持了较高的去噪性能。如图7(d)所示，DCAE在数据不包含任何异常值的情况下学习深度特征，与图7(b)中干净地震图像的深度特征非常相似。因此，本发明所提出的RDCAE在高斯噪声和不规则噪声下具有较好的去噪能力。
A42、第二个合成数据使用3-D 9-C人造VSP数据
第二个合成数据是科罗拉多学院在其postle油田研究区7进行的矿井储层描述项目的模拟结果，该模拟结果用于研究更复杂场景下的降噪性能。本发明记录了井下的31个位置，深度为1350～1850米，井距为16.667米。值得注意的是，利用3-D VSP数据来验证更多的训练样本对去噪性能的影响。因此，在训练样本数量(10000个)远远大于第一次实验的样本数量(99个)的情况下，将每个叠前图像作为一个训练样本输入到RDCAE和DCAE。
图8展示了地面真实剖面，随机加不规则噪声混合剖面图和SNR＝1.4803dB的噪声剖面图。去噪后的轮廓如图9(a)-(d)所示，分别对应于DCAE、DMSSA、IRSPF和建议的RDCAE。不足为奇的是，RDCAE的降噪效果最好，如第一次合成实验，而DMSSA的平滑效果明显，IRSPF和DCAE存在残差噪声。显然，训练样本数量的增加对DCAE的降噪性能有显著影响，但对RDCAE没有影响。这将有助于减少RDCAE的训练样本数量，而不影响去噪结果，使其更适合实际场景，如处理单个叠前图像。
此外，从相应的噪声部分和相似部分可以看出，相当大的泄漏信号影响了DMSSA和IRSPF的保信性能，如图9(e)-(h)所示。提出的RDCAE方法在去除附加的不稳定噪声的同时，最大限度地保留了有用的能量。和前面一样，本实施例也从信噪比的角度对重构性能进行了定量比较，如表2所示。在本表中，DCAE、DMSSA和IRSPF的SNR分别为11.06dB、02.39dB和05.62dB，而RDCAE方法的信噪比高于三种基线方法(11.54dB SNR)。如图9和表2所示，Welsch损失函数的优越性能是显而易见的。
A42、第三个合成数据使用实际现场数据
将真实的叠前海洋拖缆数据输入RDCAE模型，如图10所示。该数据来自IRSPF方法的研究，被混合随机加浪涌噪声所削弱。为了获得足够的样本来提供RDCAE模型，通常将叠前图像划分为重叠的块状大小为50×44。图11给出了RDCAE和SOTA方法的去噪结果和比较。从视觉比较的角度来看，本发明的工作似乎与DMSSA和IRSPF的去噪结果相似，而DCAE仍然存在残余浪涌噪声，如图11(a)-(d)所示。然而，与RDCAE相比，DMSSA和IRSPF都向噪声区域泄漏了更多的期望能量，如图11(e)-(h)所示。为了进一步验证这一点，分别对RDCAE和SOTA方法的降噪结果和噪声数据进行了相似度计算，如图11(i)-(l)所示。相对于SOTA方法，RDCAE方法在局部相似性图上，显示出来了更多极低的相似度值，更少极高相似度值，这生动地说明了本发明建立的RDCAE去噪结果总体上优于其他三种方法。
图4、5、8、9、10、11中的横坐标Trace表示道集，纵坐标Time表示时间。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (4)
1.一种基于深度卷积自编码器的鲁棒性去噪方法，其特征在于，采用鲁棒深度卷积自动编码器提取输入图像的特征向量，利用单层解码器将特征向量映射到去噪后的图像上；所述鲁棒深度卷积自动编码器的鲁棒重构损失函数采用welsch函数；采用welsch函数，得到的鲁棒重构损失函数表达式为：
其中，
表示鲁棒重构损失函数，||·||w表示welsch鲁棒范数，Y表示输入的图像，Dθ(·)表示编码网络，Eθ(·)表示解码网络，θ为网络参数。
2.根据权利要求1所述的一种基于深度卷积自编码器的鲁棒性去噪方法，其特征在于，还包括加在鲁棒重构损失中加入TV正则项，表达式为：
其中，
表示加入TV正则项后的损失函数，
表示TV正则项，λ是控制正则化强度的超参数。
3.根据权利要求2所述的一种基于深度卷积自编码器的鲁棒性去噪方法，其特征在于，
的定义如下：
其中，
表示沿inline方向的梯度算子，
表示沿crossline方向的梯度算子。
4.根据权利要求3所述的一种基于深度卷积自编码器的鲁棒性去噪方法，其特征在于，通过反向传播方法训练鲁棒深度卷积自动编码器使得鲁棒重构损失函数最小化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210060290.3A CN114418886B (zh) | 2022-01-19 | 2022-01-19 | 一种基于深度卷积自编码器的鲁棒性去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210060290.3A CN114418886B (zh) | 2022-01-19 | 2022-01-19 | 一种基于深度卷积自编码器的鲁棒性去噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114418886A CN114418886A (zh) | 2022-04-29 |
| CN114418886B true CN114418886B (zh) | 2023-05-05 |
Family
ID=81275732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210060290.3A Active CN114418886B (zh) | 2022-01-19 | 2022-01-19 | 一种基于深度卷积自编码器的鲁棒性去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114418886B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704537B (zh) * | 2022-12-02 | 2023-11-03 | 大连理工大学 | 一种轻量的药典图片文字提取方法 |
| CN116250844B (zh) * | 2023-03-03 | 2024-04-26 | 山东大学 | 基于条件生成对抗网络的心电信号降噪优化方法及系统 |
| CN118036477B (zh) * | 2024-04-11 | 2024-06-25 | 中国石油大学(华东) | 一种基于时空图神经网络的井位及井控参数优化方法 |
| CN118095407A (zh) * | 2024-04-29 | 2024-05-28 | 苏州元脑智能科技有限公司 | 提升模型鲁棒性的方法、设备、存储介质及程序产品 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543723A (zh) * | 2018-11-05 | 2019-03-29 | 南京理工大学 | 一种鲁棒的图像聚类方法 |
| CN113053113A (zh) * | 2021-03-11 | 2021-06-29 | 湖南交通职业技术学院 | 一种基于PSO-Welsch-Ridge的异常检测方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104776827B (zh) * | 2015-04-03 | 2017-04-05 | 东南大学 | Gps高程异常数据的粗差探测方法 |
| US10726525B2 (en) * | 2017-09-26 | 2020-07-28 | Samsung Electronics Co., Ltd. | Image denoising neural network architecture and method of training the same |
| CN111325794B (zh) * | 2020-02-23 | 2023-05-26 | 哈尔滨工业大学 | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 |
| CN111815601B (zh) * | 2020-07-03 | 2021-02-19 | 浙江大学 | 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 |
| CN112785088B (zh) * | 2021-02-25 | 2023-06-30 | 西安理工大学 | 一种基于dcae-lstm短期日负荷曲线预测方法 |
-
2022
- 2022-01-19 CN CN202210060290.3A patent/CN114418886B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543723A (zh) * | 2018-11-05 | 2019-03-29 | 南京理工大学 | 一种鲁棒的图像聚类方法 |
| CN113053113A (zh) * | 2021-03-11 | 2021-06-29 | 湖南交通职业技术学院 | 一种基于PSO-Welsch-Ridge的异常检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114418886A (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114418886B (zh) | 一种基于深度卷积自编码器的鲁棒性去噪方法 | |
| Chen | Fast dictionary learning for noise attenuation of multidimensional seismic data | |
| Liang et al. | Seismic data restoration via data-driven tight frame | |
| Yu et al. | Monte Carlo data-driven tight frame for seismic data recovery | |
| Yang et al. | Random noise attenuation based on residual convolutional neural network in seismic datasets | |
| Yu et al. | Interpolation and denoising of high-dimensional seismic data by learning a tight frame | |
| Beckouche et al. | Simultaneous dictionary learning and denoising for seismic data | |
| Jiang et al. | A convolutional autoencoder method for simultaneous seismic data reconstruction and denoising | |
| Qiu et al. | Deep learning prior model for unsupervised seismic data random noise attenuation | |
| Wu et al. | Incoherent dictionary learning for reducing crosstalk noise in least-squares reverse time migration | |
| Zhu et al. | Sparse-promoting full-waveform inversion based on online orthonormal dictionary learning | |
| Li et al. | A deep learning method for denoising based on a fast and flexible convolutional neural network | |
| Larsen Greiner et al. | Unsupervised deep learning with higher-order total-variation regularization for multidimensional seismic data reconstruction | |
| Yang et al. | Seislet-based morphological component analysis using scale-dependent exponential shrinkage | |
| CN108230280A (zh) | 基于张量模型与压缩感知理论的图像斑点噪声去除方法 | |
| Wu et al. | Fast and robust low-rank approximation for five-dimensional seismic data reconstruction | |
| Liu et al. | A dictionary learning method with atom splitting for seismic footprint suppression | |
| Wang et al. | Attention-based neural network for erratic noise attenuation from seismic data with a shuffled noise training data generation strategy | |
| Qiao et al. | Random noise attenuation of seismic data via self-supervised Bayesian deep learning | |
| Chen et al. | Efficient seismic data denoising via deep learning with improved MCA-SCUNet | |
| CN113109873B (zh) | 一种基于秩残差约束的沙漠地区地震信号噪声抑制方法 | |
| Wang et al. | Multi-scale residual network for seismic data denoising and reconstruction | |
| Wang et al. | Total variation regularized self-supervised Bayesian deep learning for seismic random noise attenuation | |
| Xu et al. | Deep nonlocal regularizer: A self-supervised learning method for 3d seismic denoising | |
| Wang et al. | A joint framework for seismic signal denoising using total generalized variation and shearlet transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |