CN113850269A - 一种基于多分支选择性内核嵌套连接残差网络的方法 - Google Patents

Abstract

本发明涉及地震数据处理技术领域，公开了一种基于多分支选择性内核嵌套连接残差网络的方法，包括以下处理步骤：将多层残差模块进行嵌套相连得到残差嵌套网络；添加多分支选择性内核，并把残差嵌套网络作为多分支选择性内核的输入，每个分支使用不同尺度的卷积进行特征提取、计算并输出最终图像。本发明采用嵌套残差连接，能减少残差连接，提高计算效率。本发明的嵌套残差连接与多分支选择性内核结合，能把嵌套连接残差网络输出的特征图作为多分支选择性内核模块的输入，使用不同大小的卷积核进行多分支融合，以获内容丰富特征图，从而适应复杂数据处理。本发明具有较高的运算效率和去噪性能，可被广泛用于实际地震资料随机噪音处理。

Description

一种基于多分支选择性内核嵌套连接残差网络的方法

技术领域

本发明涉及地震数据处理技术领域，具体涉及一种基于多分支选择性内核嵌套连接残差网络的方法。

背景技术

随机噪音由各种因素综合作用形成，没有固定频率和传播方向，分布于全时、全频段，因此很难将其从地震记录中有效地分离出来。传统的地震数据噪音压制方法如小波变换，f-x域滤波，曲波变换，高斯滤波等主要基于地震数据可预测性和稀疏性等特征，其噪音压制效果受限模型假设和参数设置等因素，无法自适应地处理复杂区地震数据，去噪效果有待提升。

近年来，鉴于深度学习在计算机视觉和图像处理（图像分类、超分辨率重建等）中的良好表现，深度神经网络算法被引入地震数据处理中，以实现大批量地震数据智能化处理：通过深度卷积神经网络、深度卷积自编码、深度残差网络、双重残差网络等方式对随机噪声压制；深度神经网络虽能自适应地进行地震数据去噪，但其网络结构随网络深度增加存在退化，容易出现梯度消散及梯度爆炸等问题，去噪效果待提升。

发明内容

本发明的目的在于提供一种基于多分支选择性内核嵌套连接残差网络的方法，解决传统方法无法自适应地处理复杂地震数据噪音压制的问题。

为实现上述发明目的，本发明所采用的技术方案是：一种基于多分支选择性内核嵌套连接残差网络的方法，包括以下处理步骤：

将多层残差模块进行嵌套相连得到残差嵌套网络；

添加多分支选择性内核，并把残差嵌套网络作为多分支选择性内核的输入，每个分支使用不同尺度的卷积进行特征提取、计算并输出最终图像。

优选地，每层残差模块包括两个依次相连的卷积神经网络单元和一个恒等映射单元，所述恒等映射单元的输入侧连接在第一个卷积神经网络单元的输入侧且作为该层残差模块的输入端，所述恒等映射单元的输出侧连接在第二卷积神经网络单元的输出侧，恒等映射单元的输出侧与第二个卷积神经网络单元的输出侧进行求和作为该层残差模块的输出。

优选地，多层残差模块嵌套相连的具体连接方法为：下层的残差模块的输入端连接在上层残差模块的第一个卷积神经网络单元的输出侧，下层残差模块的输出端连接在上层残差模块的第二个卷积神经模块的输入侧。

优选地，每个卷积神经网络单元包括进行两次的卷积操作和激活函数处理。

优选地，所述多分支选择性内核包括以下处理子步骤：

得到残差嵌套网络的特征图U∈R ^W×H×N ，R为实数集，W、H和N分别为特征图宽度、高度和通道数；

利用三个不同大小的卷积核进行卷积运算，分别得到U ₁∈R ^W×H×N 、U ₂∈R ^W×H×N 和U ₃∈R ^W×H×N 三个特征图，并逐元素求和得到特征图U ₄∈R ^W×H×N ；

使用全局平均池化将U ₄的全局信息压缩为特征图U ₅∈R^1×1×N ；

利用N/S个神经元进行全连接FC ₁操作，将N通道的特征图U ₅∈R^1×1×N 降维成N/S个通道，其中S为缩放因子，得到特征图U ₆∈R^1×1×N/S ；

利用N个神经元进行全连接FC ₂操作，将U ₆∈R^1×1×N/S 升维成N个通道的特征图，分别为U ₇∈R^1×1×N 、U ₈∈R^1×1×N 和U ₉∈R^1×1×N ；

通过Softmax函数计算第k个通道归一化加权参数

、

和

；

其中，

、

和

分别为U ₇、U ₈和U ₉中第k个通道的像素值，e为自然对数的底数，一般取e≈2.718；α、β和γ分别表示U ₇ 、U ₈ 和U ₉ 的软注意力矢量；

并利用其与对应特征图中第k个通道像素值相乘求和，得到最终输出图像V；

优选地，所述U ₁、U ₂、U ₃分别采用3×3卷积核、5×5卷积核，7×7卷积核。

本发明的有益效果集中体现在：

1、本发明采用嵌套残差连接，能减少残差连接，提高计算效率。

2、本发明的嵌套残差连接与多分支选择性内核结合，能把嵌套连接残差网络输出的特征图作为多分支选择性内核模块的输入，使用不同大小的卷积核进行多分支融合，以获内容丰富特征图，从而适应复杂数据处理。

3、本发明具有较高的运算效率和去噪性能，可被广泛用于实际地震资料随机噪音处理。

附图说明

图1是本发明的整体处理流程图；

图2是现有技术中的残差网络示意图；

图3是现有技术中的18层网络结构示意图；

图4是本发明18层网络结构示意图；

图5是本发明的多分支选择性内核结构示意图；

图6是本发明的第100条Inline线；

图7是本发明的第4500条Inline线测试结果；

图8是本发明的第4500条Inline线测试结果续图一；

图9是本发明的第4500条Inline线测试结果续图二。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1-5所示，一种基于多分支选择性内核嵌套连接残差网络的方法，需说明，残差网络是针对深层卷积神经网络难以训练而提出的一种网络架构，其可克服因网络深度增加导致的网络退化问题，但网络层数较多，计算效率待提升；残差网络由一系列如图2中b的残差模块（Residual Module, ResM）组成，其在图2中a的卷积神经网络模块（ConvolutionNeural Network Module ,CNNM）基础上增加恒等映射（Identity Mapping, IM）即f (x) =x；当网络达到最优即H(x) = 0时，残差模块只剩下恒等映射，使网络处于最优状态，避免网络退化问题。

图2中：Conv为卷积操作，用于提取信号特征；ReLU为激活函数，其在线性函数中加入非线性因素，增强线性模型表达能力；若假设ResM的输入为x，则其输出可表示为：

。

在图3所示的ResNet-18（包含18次卷积操作）结构为例，其主要包含两个独立卷积层Conv1和Conv2，八个残差模块（ResM1、ResM2、ResM3和ResM4均含2个ResM，共八次残差连接）；假设输入图像大小为128×128，且独立卷积层Conv1含有128个（特征通道数）卷积核，则其输出为128个128×128的特征图；若ResM1、ResM2、ResM3和ResM4的四个卷积层中均有128个卷积核，其输出为128个128×128的特征图；独立卷积层Conv2含有1个卷积核，其输出为128×128的图像。

残差网络中的ResM一般采用3×3卷积核，其网络冗余，计算效率低；另外，残差网络的图像细节恢复能力存在不足；多尺度特征融合能解决该问题，但其通常是以元素求和方式将特征组合或串联，对不同尺度特征不加区分处理，不能自适应表达多尺度特征，图像细节恢复能力依然有待提升。

针对上述问题，本发明提出以下改进，如图1所示，包括以下处理步骤：

S1、将多层残差模块进行嵌套相连得到残差嵌套网络；

具体地，如图4所示，每层残差模块包括两个依次相连的卷积神经网络单元和一个恒等映射单元，在本实施例中，对底层的残差模块可具有一个卷积神经网络单元或者两个卷积神经网络单元，根据所需要的网络层数来设定；通常来说具有两个卷积神经网络单元时，所述恒等映射单元的输入侧连接在第一个卷积神经网络单元的输入侧且作为该层残差模块的输入端，所述恒等映射单元的输出侧连接在第二卷积神经网络单元的输出侧，恒等映射单元的输出侧与第二个卷积神经网络单元的输出侧进行求和作为该层残差模块的输出。

并且多层残差模块嵌套相连的具体连接方法为：下层的残差模块的输入端连接在上层残差模块的第一个卷积神经网络单元的输出侧，下层残差模块的输出端连接在上层残差模块的第二个卷积神经模块的输入侧；并且每个卷积神经网络单元包括进行两次的卷积操作和激活函数处理。

在本实施例中，同样以18层网络为例，图3中只含有五次残差连接，使训练网络更加容易，加快网络收敛速度，提高计算效率；另外，其可把前期特征图跳跃传输至后续卷积层，有利于图像细节恢复。

S2、添加多分支选择性内核，并把残差嵌套网络作为多分支选择性内核的输入，每个分支使用不同尺度的卷积进行特征提取、计算并输出最终图像。

具体地，如图5所示，所述多分支选择性内核包括以下处理子步骤：

S21、得到残差嵌套网络的特征图U∈R ^W×H×N ，R为实数集，W、H和N分别为特征图宽度、高度和通道数；

S22、利用三个不同大小的卷积核进行卷积运算，分别得到U ₁∈R ^W×H×N 、U ₂∈R ^W×H×N 和U ₃∈R ^W×H×N 三个特征图，在本实施例中所述U ₁ 、U ₂ 、U ₃ 分别采用3×3卷积核、5×5卷积核，7×7卷积核，并逐元素求和得到特征图U ₄∈R ^W×H×N ；

S23、使用全局平均池化（Global average pool，GAP）将U ₄的全局信息压缩为特征图U ₅∈R^1×1×N ；

S24、利用N/S个神经元进行全连接FC ₁操作，将N通道的特征图U ₅∈R^1×1×N 降维成N/S个通道，其中S为缩放因子，得到特征图U ₆∈R^1×1×N/S ；

S25、利用N个神经元进行全连接FC ₂操作，将U ₆

R^1×1×N/S 升维成N个通道的特征图，分别为U ₇∈R^1×1×N 、U ₈∈R^1×1×N 和U ₉∈R^1×1×N ；

S26、通过Softmax函数计算第k个通道归一化加权参数

、

和

；

其中，

、

和

分别为U ₇、U ₈和U ₉中第k个通道的像素值，e为自然对数的底数，一般取e≈2.718；α、β和γ分别表示U ₇ 、U ₈ 和U ₉ 的软注意力矢量；

S27、并利用其与对应特征图中第k个通道像素值相乘求和，得到最终输出图像V；

。

本发明的每个分支使用不同尺度（大小）卷积核进行特征提取，从而适应不同尺度图像，进一步提升图像细节恢复能力；相比于常用多尺度特征融合，多分支选择性内核在各分支后利用通道注意力机制，自动获取每个特征通道的重要程度（加权参数），提高重要特征提取能力。

本发明具有以下测试实验，如图6-9所示：

从公开的三维时间偏移地震数据中选取4000条Inline线数据（每条Inline线128道，每道128个采样点，采样间隔1毫秒），构成4000组原始训练样本；然后，选取另外1000条Inline线数据（每条Inline线128道，每道128个采样点，采样间隔1毫秒），构成1000组原始测试样本；接下来，对原始训练样本和测试样本按公式（3）加入随机噪音，构成4000组加噪训练样本和1000组加噪测试样本；紧接着，利用原始训练样本和加噪训练样本对本发明的网络进行训练，并利用训练好的网络对测试样本和实际数据进行去噪处理；最后，将本发明的网络去噪结果和中值滤波、高斯滤波、卷积神经网络的去噪结果进行对比。同时，利用公式（4）的峰值信噪比（Peak signal to noise ratio，PSNR），定量比较不同方法的去噪性能。

（3）；

（4）；

其中：(i, j)为像素点坐标；a(i, j)为加入的随机噪音；Scale为加噪百分比；M为m×n大小原始数据中的像素值绝对值的最大值；rand(0, 1)表示产生0至1间随机数；b(i,j)为去除的噪音中像素点(i, j)处的像素值。

图6中的a、b分别为第100条Inline线原始和加噪训练样本（PSNR = 37.1444），图6中的c为添加随机噪音（Scale = 5%）；对比a和b可知：加噪训练样本同相轴连续性变差，断层模糊，信噪比明显降低。

为测试训练周期对本文网络去噪性能的影响，将训练周期设置为50、60、70、80、90、100和120次，利用4000条Inline线进行网络训练，并对第160条Inline线的训练样本进行去噪处理和PSNR计算，得到表1的网络性能参数。由表1可知：训练时间和去噪时间随训练周期增大而增大；训练周期小于80次时，PSNR随训练周期增大而逐步增大，网络去噪性能逐渐提升；训练周期超过80次时，PSNR随训练周期增大而逐步减小，网络去噪性能逐渐退化；因此，本次网络训练周期选为70次。

表1不同训练周期时，本文网络性能参数对比

训练周期/次	50	60	70	80	90	100	120
								训练时间/秒	1200	1500	1860	2040	2400	2460	3300
去噪时间/秒	3.2	3.4	4.0	4.0	4.3	4.7	5.0
								PSNR/分贝	58.2086	60.6574	63.2978	60.5064	60.1886	59.8836	59.4842

测试结构如图7-9所示，图7的a为测试样本中第4500条Inline线的大小原始测试样本，图7的b为对图7的a数据加入的8%随机噪声（Scale = 8%），图8的d为对图7的a加入图7的b所示随机噪音后的加噪测试样本；图7的c为对图7的a数据加入的10%随机噪声（Scale =10%），图9的g为对图7的a加入图7的c所示随机噪音后的加噪测试样本。图8的e和图8的f分别为利用本文训练好的网络对图7的d数据的去噪效果和去除的噪音，图9的h和i分别为利用本文训练好的网络对图9的g数据的去噪效果和去除的噪音。

由图7-9可知：本发明的网络去噪结果同相轴连续清晰，去除的噪音中未见有效信号，去噪效果良好。

表2 不同噪声水平时，四种方法去噪结果PSNR对比

表2为不同噪声水平时，四种方法对第4500条Inline线测试样本去噪结果PSNR；对比可知：四种方法去噪结果PSNR都提升；本发明的方法去噪结果PSNR更高，鲁棒性更强。

需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。

Claims (6)

1.一种基于多分支选择性内核嵌套连接残差网络的方法，其特征在于：包括以下处理步骤：

将多层残差模块进行嵌套相连得到残差嵌套网络；

添加多分支选择性内核，并把残差嵌套网络作为多分支选择性内核的输入，每个分支使用不同尺度的卷积进行特征提取、计算并输出最终图像。

2.根据权利要求1所述的一种基于多分支选择性内核嵌套连接残差网络的方法，其特征在于：每层残差模块包括两个依次相连的卷积神经网络单元和一个恒等映射单元，所述恒等映射单元的输入侧连接在第一个卷积神经网络单元的输入侧且作为该层残差模块的输入端，所述恒等映射单元的输出侧连接在第二卷积神经网络单元的输出侧，恒等映射单元的输出侧与第二个卷积神经网络单元的输出侧进行求和作为该层残差模块的输出。

3.根据权利要求2所述的一种基于多分支选择性内核嵌套连接残差网络的方法，其特征在于：多层残差模块嵌套相连的具体连接方法为：下层的残差模块的输入端连接在上层残差模块的第一个卷积神经网络单元的输出侧，下层残差模块的输出端连接在上层残差模块的第二个卷积神经模块的输入侧。

4.根据权利要求3所述的一种基于多分支选择性内核嵌套连接残差网络的方法，其特征在于：每个卷积神经网络单元包括进行两次的卷积操作和激活函数处理。

5.根据权利要求1-4任一项所述的一种基于多分支选择性内核嵌套连接残差网络的方法，其特征在于：所述多分支选择性内核包括以下处理子步骤：

得到残差嵌套网络的特征图U ∈R ^W×H×N ，R为实数集，W、H和N分别为特征图宽度、高度和通道数；

利用三个不同大小的卷积核进行卷积运算，分别得到U ₁∈R ^W×H×N 、U ₂∈R ^W×H×N 和U ₃∈R ^{W ×H×N} 三个特征图，并逐元素求和得到特征图U ₄∈R ^W×H×N ；

使用全局平均池化将U ₄的全局信息压缩为特征图U ₅∈R^1×1×N ；

利用N/S个神经元进行全连接FC ₁操作，将N通道的特征图U ₅∈R^1×1×N 降维成N/S个通道，其中S为缩放因子，得到特征图U ₆∈R^1×1×N/S ；

利用N个神经元进行全连接FC ₂操作，将U ₆∈R^1×1×N/S 升维成N个通道的特征图，分别为U ₇∈R^1×1×N 、U ₈∈R^1×1×N 和U ₉∈R^1×1×N ；

通过Softmax函数计算第k个通道归一化加权参数

、

和

；

式中，

、

和

分别为U ₇、U ₈和U ₉中第k个通道的像素值，e为自然对数的底数，一般取e≈2.718；α、β和γ分别表示U ₇ 、U ₈ 和U ₉ 的软注意力矢量；

并利用其与对应特征图中第k个通道像素值相乘求和，得到最终输出图像V；

。

6.根据权利要求5所述的一种基于多分支选择性内核嵌套连接残差网络的方法，其特征在于：所述U ₁、U ₂、U ₃分别采用3×3卷积核、5×5卷积核，7×7卷积核。

Images