CN110276402B - 一种基于深度学习语义边界增强的盐体识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习语义边界增强的盐体识别方法，本发明除了关注语义图像的识别功能，同样也对语义边界的提取进行了训练，增强语义图像的识别效果。由于网络获得了边界提取的相关能力，模型输出的语义图像边界会因此变得更加清晰，增加准确率。而且语义边界识别的特征也会直接显示地输入到语义图像提取的过程之中，以对盐体识别结果进行直接的监督与加强。语义图像提取网络中的注意力模块scSE也让模型在训练过程中自行学习，获取每个特征的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征，显式地建模特征通道之间的相互依赖关系，也让模型更加稳定。本方法可以比较高效准确的对地质盐层图像进行分割。

Description

一种基于深度学习语义边界增强的盐体识别方法

技术领域

本发明属于计算机视觉技术领域以及地质勘测领域。其中主要涉及的知识包括一些图像增强、边界检测、图像语义分割方法、深度学习图像分割方法等。

背景技术

地震图像是指通过地震成像技术，观测地震波在不同岩层之下传播的速度，进而获得相对应的声波图。地震图像作为一种有组织的、可理解的数据显示，是获取和传递地球结构和材料特性信息的宝贵工具。通常在地下巨大的盐沉积物附近，往往会有大量石油或者天然气等重要资源。这些资源聚集的地区往往会在地表下面形成盐体。然而，盐体在地下通常以高温液态的形式存在，直接进行盲目的勘探不仅会造成资金、资源的浪费，还有可能对钻探人员的生命安全形成威胁。而地震图像因其本身的性质，可以把地下的一些盐层、岩层的特殊结构反应到图像中，对于盐体的检测具有重要意义。目前，对这些地震图像的识别与标注时要进行极其细致的分析，因此主要是通过经验丰富的专业人士手工进行标注。但是人工标注的结果很容易受到标注人情绪与疲劳程度等高度主观因素的影响，最终每个标注人的标注结果往往一定的偏差，不具有稳定性，同时也会浪费大量劳动力。

在计算机数字图像处理领域内，地震图像的盐体识别问题可以被归类为图像的语义分割问题，即对图像中的每一个像素确定为一种类别，将图像划分为不同的区域，因此该问题可以被视为一个逐像素的分类问题。在传统的图像语义分割方法中，使用的方法主要是根据图像纹理、颜色等特征，人工设计图像特征的提取内容，并使用支持向量机（SVM）、随机森林、AdaBoost等分类算法进行分类。由于语义分割问题具有一定复杂性，传统的人工特征提取方法效果并不理想。

近年来，随着计算机运算能力的不断提升以及机器学习相关算法的不断积累，深度学习这一领域日益火热。由于其极强的数据特征提取的强能力，深度学习相继在计算机视觉、语音识别、语义分析、序列预测等诸多重要领域内取得了突破性的进展。在计算机视觉领域，Krizhevsky等人在2012年提出了一个基于卷积神经网络（CNN）的模型AlexNet，并取得了该年度ImageNet分类比赛的冠军。AlexNet的成功使得研究者们纷纷尝试使用CNN解决计算机视觉问题。2015 年He等人提出了深度残差网络（ResNet），ResNet引进了跳跃式连接的结构，使得模块输入可以直接加到模块的输出上，网络深度也因此达到了前所未有的152 层，这种跳跃式连接的结构也基本成为今后CNN设计的基础单元。在语义分割领域，2014年，Long等人提出了全卷积神经网络（FCN），该网络可以直接进行逐像素的端到端图像语义分割，使得深度学习在语义分割领域内产生了突破性进展。随后的几年中，SegNet，DeepLab，以及针对医疗图像设计的语义分割网络U-Net等模型相继出现，这些方法使得深度学习在语义分割领域大放异彩。

目前，使用深度学习方法应用于盐体识别仍然存在一些问题。首先进行过良好数据标注的地震图像本身数据量就不够丰富，不利于网络的的训练。同时由于其成像原理，盐体区域与其他背景区域之间的差异较小，缺少较为清晰的语义边界，这会使得模型的分割结果在边界处不够准确。

发明内容

基于上述分析，本发明主要设计了一种深度学习语义分割方法，进行地震图像的盐体识别。整体网络模型主要包含两个部分：语义图像提取网络以及语义边界提取网络。本发明希望模型提取出的语义边界信息能够指导语义图像的生成。在对模型进行训练时，为了弥补训练数据的不足，需要对图像进行相应的预处理以及数据增强。同时为了对模型语义边界进行监督，也需要通过图像掩码提取出盐体的边界用于训练。模型训练与测试所用的数据来自于TGS开源的地震图像数据。

首先对数据集划分为训练集与测试集。将图像与其对应的掩码图在一定范围内进行随机的左右翻转。在训练集上，再对图像进行随机缩放、改变图像的亮度、对比度、添加随机的高斯噪声。并使用传统的边界提取方法提取数据增强后的掩码边界。最后对每幅图片使用ImageNet数据集的均值与噪声进行正则化处理。

模型的主要设计架构是经典的编码器—解码器结构。模型中的语义图像提取网络和语义边界提取网络共用一个编码器，该编码器来源自被广泛使用的图像分类模型，并且替换该网络中最后的全局平均池化层以及全连接层为1×1的卷积层。同时该分类模型使用前人在ImageNet数据集上预训练过好的模型进行初始化，以降低模型训练成本，同时增强特征提取能力。取其中四个中间层的输出进行解码。模型的编码器有两个，在语义图像提取网络中，模型的解码器设计主要类似于U-Net编码器—解码器的设计模式，不过由于模型编码器复杂性明显上升，为了处理大量复杂语义信息，添加了注意力模块对特征信息进行筛选。语义边界网络中的解码器为了尽肯能多的获取边界信息，需要多尺度多感受野的进行边缘提取，以将解码器提供的语义特征转换为边界特征。

为个实现上述目的，本发明采用以下技术方案：为了更好的实现整个方法，首选Python作为方法编写语言。数据处理阶段使用OpenCV实现图像的随机翻转、裁剪、改变对比度与亮度、添加高斯噪音以及边界提取。其中使用Canny算子实现图像掩码的边界提取。模型的实现与训练主要使用了PyTorch进行实现。编码器采用了在ImageNet上预训练好的ResNet50，并且将其中4个残差。语义图像提取网络中的每个解码器模块使用两个连续的卷积层进行特征提取，然后再使用一个反卷积层上采样。反卷积上采样之前添加了scSE注意力模块以及残差结构增强模型特征提取能力。语义边界提取网络的解码器则使用了多个边界增强模块加强边界信息。边界增强模块会接受不同层级编码器的输出，并且在通道方向分组进行多感受野的特征提取。同时为了进一步加强边界信息对语义分割结果的指导作用，将每一个边界增强模块的输出送入语义图像提取网络，用边界信息生成BatchNormalization层中参数γ与β。

一种基于深度学习语义边界增强的盐体识别方法，主要包括：

步骤1、收集地质盐层的地震图像数据集，并对地震图像数据集中的数据进行清洗。

步骤2、将地震图像数据集随机划分为训练集和测试集，进行数据增强处理，并提取对应的语义边界，最后使用ImageNet数据集的方差与均值进行正则化处理；。

步骤3、构建模型，编码器使用预训练好的ResNet50，语义边界的地震图像提取网络为添加UNet的解码器结构，语义边界提取网络为边界特征增强模块的栈式堆叠。

步骤4、对步骤3构建的模型使用Adam优化算法进行训练，训练结束后，选择在测试集上语义分割结果最为精确的模型作为结果。

作为优选，步骤2采取以下步骤：

步骤2.1、随机地震图像将数据集划分为训练集和测试集；

步骤2.2、对数据进行形态上增强，对地震图像及对应的标注掩码进行镜像翻转即左右翻转；

步骤2.3、对于训练集上的数据，随机将地震图像以及对应的掩码放大到200至300之间，然后随机裁剪到256的大小，使用边缘像素补齐平移产生的地震图像区域。

步骤2.4、对进行过数据增强处理过的掩码图使用Canny算子进行语义边界提取，加入训练集与测试集，用于监督网络的训练。步骤2.5、为地震图像随机添加大小在-10至10之间的亮度变化，随机改变图像的对比度为原来0.8倍至1.2倍、并添加服从标准正态分布的高斯噪音。

步骤2.6、使用ImageNet数据集的方差与均值对地震图像进行正则化处理。

作为优选，步骤3具体包括以下步骤：

步骤3.1、使用在ImageNet数据集上训练好的ResNet50作为模型编码器，并且替换该网络中最后的全局平均池化层以及全连接层为1×1的卷积层。

步骤3.2、构建语义图像提取网络的解码器，使用UNet的解码器结构作为主体结构，并将模型编码器的输出输入其中。UNet能够综合利用高层级以及低层级的语义信息，以获得更加精细准确的分割结果。

步骤3.3、为每个UNet解码器模块中加入scSE注意力模块以及残差模块，以筛选并加强其中更为有用的语义信息。

步骤3.4、构建语义边界提取网络，并将UNet解码器的输出输入其中。边界增强模块将输入的特征图按通道方向分为4组分别进行卷积，并且每组卷积层的个数均不相同，以获得更加多尺度的感受野，更加利于边界的提取。将各个阶段解码器的输出进行上采样到同一尺度后相加，将和的结果作为最终语义边界提取网络的输出。

步骤3.5、将每个语义边界增强模块提取出的特征输入到语义图像解码器的归一化层中，用于生产归一化层中的γ和β，让边界信息指导模型提取语义信息。

与现有技术相比，本发明具有以下优势：

本发明除了关注语义图像的识别功能，同样也对语义边界的提取进行了训练，增强语义图像的识别效果。由于网络获得了边界提取的相关能力，模型输出的语义图像边界会因此变得更加清晰，增加准确率。而且语义边界识别的特征也会直接显示地输入到语义图像提取的过程之中，以对盐体识别结果进行直接的监督与加强。除此之外，语义图像提取网络中的注意力模块scSE也让模型在训练过程中自行学习，获取每个特征的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征，显式地建模特征通道之间的相互依赖关系，也让模型更加稳定。总体上来讲，本发明的方法可以比较高效准确的对地质盐层图像进行分割。

附图说明

图1 为本发明所提出模型的主体架构图；

图2 为本发明中编码器的结构图；

图3 为本发明设计的语义图像解码器结构；

图4 为本发明设计的语义解码模块结构；

图5 为本发明设计的语义边界提取解码器结构；

图6 为本发明设计的边界增强模块结构；

具体实施方式

以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提供一种基于深度学习语义边界增强的盐体识别方法，具体包括以下步骤：

本发明所用到的硬件设备有PC 机1 台、1080显卡1个；

步骤1、收集地质盐层的地震图像数据集，并对这些数据进行清洗。

步骤2、将地震图像数据集随机划分为训练集和测试集，进行数据增强处理，并提取对应的语义边界，最后使用ImageNet数据集的方差与均值进行正则化处理。

步骤2.1、随机将数据集划分为训练集和测试集；

步骤2.2、对数据进行形态上增强，对地震图像及对应的标注掩码进行镜像翻转即左右翻转；

步骤2.3、对于训练集上的数据，随机将地震图像以及对应的掩码放大到200至300之间，然后随机裁剪到256的大小，使用边缘像素补齐平移产生的地震图像区域。

步骤2.4、对进行过数据增强处理过的掩码图使用Canny算子进行语义边界提取，加入训练集与测试集，用于监督网络的训练。

步骤2.5、为地震图像随机添加大小在-10至10之间的亮度变化，随机改变图像的对比度为原来0.8倍至1.2倍、并添加服从标准正态分布的高斯噪音。

步骤2.6、使用ImageNet数据集的方差与均值对地震图像进行正则化处理。

步骤3、如图1所示整体模型结构，构建模型，编码器使用预训练好的ResNet50，语义图像提取网络为添加UNet的解码器结构，语义边界提取网络为边界特征增强模块的栈式堆叠。

步骤3.1、使用在ImageNet数据集上训练好的ResNet50作为模型编码器，并且替换该网络中最后的全局平均池化层以及全连接层为1×1的卷积层。

步骤3.2、构建语义图像提取网络的解码器，使用UNet的解码器结构作为主体结构，并将模型编码器的输出输入其中。UNet能够综合利用高层级以及低层级的语义信息，以获得更加精细准确的分割结果。

步骤3.3、为每个UNet解码器模块中加入scSE注意力模块以及残差模块，以筛选并加强其中更为有用的语义信息。

步骤3.4、构建语义边界提取网络，并将模型编码器的输出输入其中。边界增强模块将输入的特征图按通道方向分为4组分别进行卷积，并且每组卷积层的个数均不相同，以获得更加多尺度的感受野，更加利于边界的提取。将各个阶段解码器的输出进行上采样到同一尺度后相加，将和的结果作为最终语义边界提取网络的输出。

步骤3.5、将每个语义边界增强模块提取出的特征输入到语义图像解码器的归一化层中，用于生产归一化层中的γ和β，让边界信息指导模型提取语义信息。

步骤4、对模型进行训练，训练结束后，选择在测试集上语义分割结果最为精确的模型作为结果。。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (2)

1.一种基于深度学习语义边界增强的盐体识别方法，其特征在于：该方法包括如下步骤，

步骤1、收集地质盐层的地震图像数据集，并对地震图像数据集中的数据进行清洗；

步骤2、将地震图像数据集随机划分为训练集和测试集，进行数据增强处理，并提取对应的语义边界，最后使用ImageNet数据集的方差与均值进行正则化处理；

步骤3、构建模型，编码器使用预训练好的ResNet50，语义图像提取网络为添加UNet的解码器结构，语义边界提取网络为边界增强模块的栈式堆叠；

步骤4、对步骤3构建的模型使用Adam优化算法进行训练，训练结束后，选择在测试集上语义分割结果最为精确的模型作为结果；步骤3具体包括以下步骤：

步骤3.1、使用在ImageNet数据集上训练好的ResNet50作为模型编码器，并且替换ResNet50中最后的全局平均池化层以及全连接层为1×1的卷积层；

步骤3.2、构建语义图像提取网络的解码器，使用UNet的解码器结构作为主体结构，并将模型编码器的输出输入其中；UNet能够综合利用高层级以及低层级的语义信息，以获得更加精细准确的分割结果；

步骤3.3、为每个UNet解码器模块中加入scSE注意力模块以及残差模块，以筛选并加强其中更为有用的语义信息；

步骤3.4、构建语义边界提取网络，并将模型编码器的输出输入其中；边界增强模块将输入的特征图按通道方向分为4组分别进行卷积，并且每组卷积层的个数均不相同，以获得更加多尺度的感受野，更加利于边界的提取；将各个阶段解码器的输出进行上采样到同一尺度后相加，将和的结果作为最终语义边界提取网络的输出；

步骤3.5、将每个边界增强模块提取出的特征输入到语义图像提取解码器的归一化层中，用于生产归一化层中的γ和β，让边界信息指导模型提取语义信息。

2.根据权利要求1所述的一种基于深度学习语义边界增强的盐体识别方法，其特征在于：步骤2采取以下步骤：

步骤2.1、将地震图像数据集随机划分为训练集和测试集；

步骤2.2、对数据进行形态上增强，对地震图像及对应的标注掩码进行镜像翻转即左右翻转；

步骤2.3、对于训练集上的数据，将地震图像以及对应的掩码随机放大到200至300之间，然后随机裁剪到256的大小，使用边缘像素补齐平移产生的地震图像区域；

步骤2.4、对进行过数据增强处理的掩码图使用Canny算子进行语义边界提取，加入训练集与测试集，用于监督ResNet50、语义图像提取网络、语义边界提取网络的训练；步骤2.5、为地震图像随机添加大小在-10至10之间的亮度变化，随机改变图像的对比度为原来0.8倍至1.2倍、并添加服从标准正态分布的高斯噪音；

步骤2.6、使用ImageNet数据集的方差与均值对地震图像进行正则化处理。

Images