CN112927253A - 基于卷积神经网络的岩心fib-sem图像分割方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的岩心FIB‑SEM图像分割方法，主要涉及岩心序列图像的图像分割技术。包括以下步骤：(1)建立岩心FIB‑SEM图像数据集；(2)构建卷积神经网络：将通道注意力模块嵌入到编码阶段，并使用改进的特征金字塔注意力模块提取多尺度特征，在解码模块使用多尺度空间注意力提取精细边界，在上采样阶段使用亚像素卷积模块恢复原始分辨率；(3)网络训练与参数优化，得到效果最好的模型；(4)使用步骤(1)得到的测试集进行网络分割结果测试；本发明方法通过利用卷积神经网络进行岩心FIB‑SEM孔隙提取，无需人工操作，且提高分割精度。

Description

基于卷积神经网络的岩心FIB-SEM图像分割方法

技术领域

本发明涉及岩心FIB-SEM图像的图像分割技术，特别涉及一种卷积神经网络的岩心FIB-SEM图像分割方法。

背景技术

近年来，由于世界常规油气能源产量的持续下降，储量巨大的非常规油气资源受到世界各国的关注。与常规油气资源相比，非常规油气资源储集在尺度更小的空间中，微纳米孔隙是其重要的储集空间，因此准确而又全面地表征微纳米孔隙空间的三维结构成为了非常规油气能源研究的重要内容。聚焦离子束扫描电镜(FIB-SEM，Focused Ion Beam-Scanning Electron Microscope)是一种研究非常规油气储集层结构的新方法。将岩心FIB-SEM序列图像中的孔隙结构进行提取，这对石油地质部门的开发勘探工作具有重要的指导意义。然而对岩心FIB-SEM图像进行孔隙提取有着以下难点：(1)由于FIB-SEM成像的观察面与电子束不垂直，底部信号较上面部分更弱，所以扫描图像从上至下会有变暗的效果；(2)岩心中除孔隙之外的其他结构，如有机质、黏土矿物等，在FIB-SEM图像中也会与岩石会也构成边缘，这对于利用图像边缘特性来进行孔隙提取时，会造成严重的干扰；(3)SEM成像会将其内部细节表现出来，再加上荷电的作用，孔隙内部一般还伴随着高亮的特点，增加了鉴别孔隙的难度。

目前针对岩心FIB-SEM图像的图像分割算法较少。2012年有学者提出了一种两阶段提取多孔材料FIB-SEM图像的方法，其利用FIB-SEM图像孔隙出现的高光效果，提取出高光区域，然后进行反向传播，但这是针对多孔材料的分割方法，要求孔隙外的其他部分不会出现明显灰度的差异，无法对含有多种杂质干扰的岩心提取孔隙。2016年针对页岩FIB-SEM图像学者们分别进行了边缘检测分割法、流域分割法和手动或自动阈值分割方法的实验，但效果依赖人为调整，序列图中孔隙提取效果表现不佳。2018年基于主动轮廓的岩心FIB-SEM序列图像孔隙提取算法提出，但需要人工预先选择标记点，且对于变化较大的序列图难以准确提取精细的孔隙边缘。

因此，如何准确提取孔隙区域，且无需人工选择分割阈值和选择标记点，进行端到端的孔隙提取对于非常规资源勘探开发有着重要意义。快速发展的深度学习已被应用到各个领域，将卷积神经网络应用在岩心FIB-SEM图像上是一个可行的技术方案。

发明内容

本发明的目的在于为解决上述问题而提供一种端到端的无需人工选择参数或选择标记点，且能够精确提取孔隙区域的基于卷积神经网络的岩心FIB-SEM图像分割方法。

本发明通过以下技术方案来实现上述目的：

(1)建立岩心FIB-SEM图像数据集：对岩心FIB-SEM训练图像统一尺寸并进行标注，孔隙部分为目标区域，其他部分为背景区域；

(2)构建卷积神经网络编码阶段：将原始的FIB-SEM训练图像作为输入，并首先通过一个卷积层进行粗精度的提取特征，接着依次通过4个残差模块，其中将通道注意力模块分别嵌入到这4个残差模块中，最后一个残差模块采用空洞卷积；

(3)构建卷积神经网络的特征金字塔注意力模块：将步骤(2)的输出通过改进的特征金字塔注意力模块提取多尺度特征；其中改进的金字塔模块分为三层并联，并用多个小卷积核替代大卷积核以减少参数量；

(4)构建卷积神经网络的解码模块：将步骤(3)得到的输出与步骤(2)中第三个残差注意力模块的输出作为多尺度空间注意力模块的输入，多尺度空间注意力模块的输出再与上一层次的解码输出相加，作为本层次的输出；按照相同的解码规则，逐层次处理，最终得到解码模块的输出；

(5)构建卷积神经网络的上采样模块：将步骤(4)得到的输出通过亚像素卷积模块，进行4倍上采样恢复为原始分辨率；

(6)构建卷积神经网络的预测模块：将步骤(5)得到的输出输入到softmax层中，得到每个像素点为目标分类的概率，大于0.5的像素点判为孔隙类，否则为背景像素点；最终得到分割后的二值图像，孔隙像素点用灰度值为255的像素点表示，背景像素点用灰度值为0的像素点表示；

(7)网络训练与参数优化：将步骤(1)得到的数据集分为训练集，验证集，测试集，使用训练集训练构建的卷积神经网络，使用Adam优化器进行学习并更新网络参数，将交叉熵函数作为训练的loss函数，并根据验证集上的loss变化趋势选取分类效果最好，且泛化能力最好网络模型；

(8)网络结果测试：采用步骤(7)得到的网络模型，对测试集的岩心FIB-SEM图像进行测试，使用相关指标对网络模型进行评价。

具体地，所述步骤(1)中：

将致密碳酸盐岩FIB-SEM图像库作为岩心FIB-SEM数据集进行图像标注，由于本发明方法是一个二分类的方法，将致密碳酸盐岩图像的孔隙区域标注为目标区域，非孔隙区域标注为背景区域。图像标注完毕后，从图像库中随机抽取4264张图像作为数据集，并将数据集进行扩充，具体扩充方法有镜像翻转，旋转变换，形变变换，拉伸缩小等方式。

所述步骤(2)中：

通道注意力模块首先将输入特征分别进行MaxPool池化和AvgPool池化，二者的输出作为共享参数的感知机的输入，感知机的对应的两个输出特征逐像素相加，得到一维权重向量。将一维权重与特征输入相乘，得到最终的注意力模块输出。本发明方法将注意力模块嵌入到残差网络卷积块中，具体为输入特征依次通过原始的残差网络卷积块和通道注意力模块，其输出和原输入特征相加，并用Relu函数激活，得到该模块的输出。

所述步骤(3)中：

特征金字塔注意力模块可以提取多尺度特征，由于原始的金字塔模块参数量过多；将原始金字塔模块的7×7卷积核，替换为1×7和7×1的并联卷积核，拼接这两个卷积核的结果，并输入到1×1大小的卷积核进行降维得到该层的特征信息；对于原始金字塔模块的5×5卷积核，用两个3×3卷积核级联替换；对于原始金字塔模块的3×3卷积核仍保持不变。

所述步骤(4)中：

将作为低层次的本层特征信息与作为高层次的上一层输出逐像素进行相加，其结果输入到空间注意力模块中，再将空间注意力模块的输出与高、低层次特征信息的相加结果相加，并输入至反卷积层进行降维和上采样，得到最终的输出结果；整个处理模块即为融合多尺度空间注意力模块。

所述步骤(5)中：

在通过亚像素卷积模块进行恢复原始分辨率之前，首先将步骤(4)的输出特征图(输入尺寸为h×w×channels)输入到一个卷积核大小为3×3，步长为默认1，通道数为channels*r²，且填充模式为“same”的卷积层，其中channels为输入特征图的通道数，r为上采样因子为4；该卷积层的输出为[h,w,r²channels]，之后再依次输入至亚像素卷积模块和一个卷积核大小为1×1，步长为1，的卷积核，最终输出特征图的维度为[rh,rw,2]。

所述步骤(8)中：

使用均像素精度MPA，均较并比MIoU，精确率，召回率，F1值作为评价岩心FIB-SEM图像分割效果的指标；使用平均每张提取孔隙区域所需时间作为岩心FIB-SEM图像分割效率的指标。

与现有技术相比，本发明的有益效果是：

1.本发明提出的基于卷积神经网络的岩心FIB-SEM图像分割方法对比传统分割方法的优势在于，无需人工选择分割参数如分割阈值，设置主动轮廓标记点等，且能够提取更为精确的孔隙区域，高效而准确的完成分割任务。

2.本发明提出的基于卷积神经网络的岩心FIB-SEM图像分割方法，对比主流的用于语义分割的神经网络，本发明方法所提出的神经网络参数量小，分割精度高，分割速度快。

总之，本发明的方法将深度学习应用在岩心FIB-SEM图像领域，易于发挥出神经网络泛化能力强，分割精度高的优势。

附图说明

图1是本发明提供的基于卷积神经网络的岩心FIB-SEM图像分割方法流程示意图。

图2-1为本实施例所使用的致密碳酸盐岩FIB-SEM示例图，图2-2为对图2-1进行标注后的图像。

图3是本发明提供的卷积神经网络整体模型。

图4为本实施例提供的卷积神经神经网络在训练过程中loss函数在训练集和测试集上的变化曲线图。

图5-1为本实施例使用的原始岩心FIB-SEM测试原图。

图5-2 5-3 5-4分别为本实施例对图5-1使用传统阈值分割，基于主动轮廓分割，本发明方法分割得到的结果图。

具体实施方式

下面结合具体实施例和附图对本发明进一步说明：

为使本发明所述方法更加便于理解和接近真实应用，本实施例采用致密碳酸盐岩的FIB-SEM序列图像作为数据集用来训练、测试本发明提出的卷积神经网络，原始大小为1024×1024，由于孔隙区域所占区域较小，这里截取400×400含有孔隙部分的区域。

图1是本发明提供的基于卷积神经网络的岩心FIB-SEM图像分割方法流程示意图。图2-1为本实施例所使用的致密碳酸盐岩FIB-SEM示例图，图2-2为标注后的图像。图3是本发明提供的卷积神经网络整体模型。

具体实施步骤是：

(1)建立岩心FIB-SEM图像数据集：对岩心FIB-SEM训练图像统一尺寸并进行标注，孔隙部分为目标区域，其他部分为背景区域；具体地，将致密碳酸盐岩FIB-SEM图像库作为岩心FIB-SEM数据集进行图像标注，由于本发明方法是一个二分类的方法，将致密碳酸盐岩图像的孔隙区域标注为目标区域，非孔隙区域标注为背景区域。如图2-1和2-2所示，图2-1为本实施例所使用的致密碳酸盐岩FIB-SEM示例图，图2-2为标注后的图像，其中，白色实线圆圈区域为孔隙区域，即本实施例需要标注的目标区域。其余部分为背景区域。图像标注完毕后，从图像库中随机抽取4264张图像作为数据集，并将数据集进行扩充，具体扩充方法有镜像翻转，旋转变换，形变变换，拉伸缩小等方式。

(2)构建卷积神经网络编码阶段：将原始的FIB-SEM训练图像作为输入，并首先通过一个卷积层进行粗精度的提取特征，接着依次通过4个残差模块，其中将通道注意力模块分别嵌入到这4个残差模块中，最后一个残差模块采用空洞卷积；具体地，通道注意力模块首先将输入特征分别进行MaxPool池化和AvgPool池化，二者的输出作为共享参数的感知机的输入，感知机的对应的两个输出特征逐像素相加，得到一维权重向量。将一维权重与特征输入相乘，得到最终的注意力模块输出。本发明方法将注意力模块嵌入到残差网络卷积块中，具体为输入特征依次通过原始的残差网络卷积块和通道注意力模块，其输出和原输入特征相加，并用Relu函数激活，得到该残差通道注意力模块(即Res-CA模块，ResidualChannel Attention Module)的输出。

(3)构建卷积神经网络的特征金字塔注意力模块(FPA模块，Feature PyramidAttention Module)：将步骤(2)的输出通过改进的金字塔模块提取多尺度特征；其中改进的金字塔模块分为三层并联，并用多个小卷积核替代大卷积核以减少参数量；具体地，金字塔模块可以提取多尺度特征，由于原始的金字塔模块参数量过多；将原始金字塔模块的7×7卷积核，替换为1×7和7×1的并联卷积核，拼接这两个卷积核的结果，并输入到1×1大小的卷积核进行降维得到该层的特征信息；对于原始金字塔模块的5×5卷积核，用两个3×3卷积核级联替换；对于原始金字塔模块的3×3卷积核仍保持不变。

(4)构建卷积神经网络的解码模块：将步骤(3)得到的输出与步骤(2)中第三个残差注意力模块的输出作为多尺度空间注意力模块的输入，多尺度空间注意力模块的输出再与上一层次的解码输出相加，作为本层次的输出；按照相同的解码规则，逐层次处理，最终得到解码模块的输出；具体地，将作为低层次的本层特征信息与作为高层次的上一层输出逐像素进行相加，其结果输入到空间注意力模块中，再将空间注意力模块的输出与高、低层次特征信息的相加结果相加，并输入至反卷积层进行降维和上采样，得到最终的输出结果；整个处理模块即为融合多尺度空间注意力模块(即MSA模块，Multi-scale SpatialAttention Module)。

(5)构建卷积神经网络的上采样模块：将步骤(4)得到的输出通过亚像素卷积模块(Sub-pixel Conv)恢复为原始分辨率；具体地，正常情况下，卷积操作会使特征的高和宽变小。亚像素卷积使得

可以让卷积后的特征图像的高和宽变大——即分辨率增大。具体操作为在通过亚像素卷积模块进行恢复原始分辨率之前，首先将步骤(4)的输出特征图(输入尺寸为h×w×channels)输入一个卷积核大小为3×3，步长为默认1，通道数为channels*r²，且填充模式为“same”的卷积层，其中channels为输入特征图的通道数，r为上采样因子为4；该卷积层的输出为[h,w,r²channels]，之后再依次输入至亚像素卷积模块和一个卷积核大小为1×1，步长为1，的卷积核，最终输出特征图的维度为[rh,rw,2]。其中，亚像素卷积模块将输入特征图通过周期性筛选得到高分辨率图像，即得到恢复为rh×rw分辨率图像。

(6)构建卷积神经网络的预测模块：将步骤(5)得到的输出输入到softmax层中，得到每个像素点为目标分类的概率，大于0.5的像素点判为孔隙类，否则为背景像素点；最终得到分割后的二值图像，孔隙像素点用灰度值为255的像素点表示，背景像素点用灰度值为0的像素点表示；

(7)网络训练与参数优化：将步骤(1)得到的数据集分为训练集，验证集，测试集，使用训练集训练构建的卷积神经网络，使用Adam优化器进行学习并更新网络参数，将交叉熵函数作为训练的loss函数，并根据验证集上的loss变化趋势选取分类效果最好，且泛化能力最好网络模型；具体的loss函数定义为：

p′_j为真实类别，经过softmax函数得到判别为j分类的概率为p_j，其中k为类别总数，在本实施例中为2。

表1为卷积神经网络优化器的超参数设置。

表1卷积神经网络的超参数设置

训练过程如图4所示，为loss函数在训练集和验证集上的变化曲线图，观察可以得到，本发明方法提出的卷积神经网络泛化能力强，训练情况良好，未出现过拟合，在验证集上表现良好。

(8)网络结果测试：采用步骤(7)得到的网络模型，对测试集的岩心FIB-SEM图像进行测试，使用相关指标对网络模型进行评价。具体地，使用均像素精度MPA，均较并比MIoU，精确率，召回率，F1值作为评价岩心FIB-SEM图像分割效果的指标；使用平均每张提取孔隙区域所需时间作为岩心FIB-SEM图像分割效率的指标。具体地，计算公式如下：

其中TP为true positives，即实际为正类且预测分类为正类的样本数。FP为false positives，即实际为负类预测为正类的样本数。FN为false negatives，即实际为正类预测为负类的样本数。TN为true negatives，即实际为负类预测为负类的样本数。本实施例中正类为孔隙分类，负类为背景分类。

为说明本发明方法的优势，将本发明方法分别与现有的传统分割技术和目前主流的分割网络对比，将在分割精度，网络参数量，平均每张分割所需时间三个方面说明。

与阈值分割、基于主动轮廓的分割对比：

如图5-1所示，为本实施例使用的原始岩心FIB-SEM测试原图。

图5-2 5-3 5-4分别为对图5-1使用传统阈值分割，基于主动轮廓分割，本发明方法分割得到的结果图。

对比分割结果，由于岩心FIB-SEM图像中的孔隙区域由高光现象，且除孔隙外的其他杂质灰度值和孔隙接近，单单依靠灰度阈值分割将孔隙提取出来极为困难，造成如5-2图所示的分割不准确的结果。对于基于主动轮廓的分割方法，在对序列图进行分割时，由于主动轮廓是先检测边缘，依靠边缘信息对孔隙进行提取，而不关心灰度信息。一旦在序列图中的某一帧中边缘检测错误，如将有机质边缘检测为孔隙边缘，后续的分割会将有机质区域错误的作为孔隙区域，导致后续图像出现明显的分割错误，如5-3图所示，在图像上方，第二块白色区域即为错误的分割为孔隙区域，而实际为有机质区域。5-4为本发明方法的分割结果，通过使用卷积神经网络能够精确的提取出孔隙区域，且对于图像左侧较为细小的目标区域，也能够准确提取。对比传统分割方法，无需人工选择阈值和选择标记点。

与主流分割网络对比：

将本发明方法与PSPNet，SegNet，FCN-8s，U-Net等分割网络对比。统计各个网络在测试集上的分割结果。分割结果对比如表2所示。各网络参数量与分割时间对比如表3所示。

表2与其他分割网络分割结果对比

表3网络参数量与分割所需时间对比

通过表2对比可以发现，本发明方法提出的卷积神经网络模型对于岩心FIB-SEM图像的分割效果较好，优于主流分割网络，并且将注意力模块嵌入到编码和解码阶段，使用金字塔模块提取多尺度特征，充分利用多尺度的特征信息，将低层次的位置信息和高层次的语义信息结合起来，以达到更好的提取细小的孔隙区域。通过表3对比发现，本发明方法对原始特征金字塔注意力模块的改进使得参数量减小，并且在上采样阶段使用亚像素卷积模块，实际在上采样并不执行卷积操作，而是重新排列特征通道，这样使得每张图像的分割运行时间大大减小。

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (4)

1.基于卷积神经网络的岩心FIB-SEM图像分割方法，其特征在于：包括以下步骤：

(1)建立岩心FIB-SEM图像数据集：对岩心FIB-SEM训练图像统一尺寸并进行标注，孔隙部分为目标区域，其他部分为背景区域；并将图像数据集进行数据扩充；

(2)构建卷积神经网络编码阶段：将原始的FIB-SEM训练图像作为输入，并首先通过一个卷积层进行粗精度的提取特征，接着依次通过4个残差模块，其中将通道注意力模块分别嵌入到这4个残差模块中，最后一个残差模块采用空洞卷积；

(3)构建卷积神经网络的金字塔模块：将步骤(2)的输出通过改进的金字塔模块提取多尺度特征；其中改进的金字塔模块分为三层并联，并用多个小卷积核替代大卷积核以减少参数量；

(4)构建卷积神经网络的解码模块：将步骤(3)得到的输出与步骤(2)中第三个残差注意力模块的输出作为多尺度空间注意力模块的输入，多尺度空间注意力模块的输出再与上一层次的解码输出相加，作为本层次的输出；按照相同的解码规则，逐层次处理，最终得到解码模块的输出；

(5)构建卷积神经网络的上采样模块：将步骤(4)得到的输出通过亚像素卷积模块，进行4倍上采样恢复为原始分辨率；

(6)构建卷积神经网络的预测模块：将步骤(5)得到的输出输入到softmax层中，得到每个像素点为目标分类的概率，大于0.5的像素点判为孔隙类，否则为背景像素点；最终得到分割后的二值图像，孔隙像素点用灰度值为255的像素点表示，背景像素点用灰度值为0的像素点表示；

(7)网络训练与参数优化：将步骤(1)得到的数据集分为训练集，验证集，测试集，使用训练集训练构建的卷积神经网络，使用Adam优化器进行学习并更新网络参数，将交叉熵函数作为训练的loss函数，并根据验证集上的loss变化趋势选取分类效果最好，且泛化能力最好网络模型；

(8)网络结果测试：采用步骤(7)得到的网络模型，对测试集的岩心FIB-SEM图像进行测试，使用相关指标对网络模型进行评价。

2.根据权利要求1所述的基于卷积神经网络的岩心FIB-SEM图像分割方法，其特征在于：

所述步骤(3)中：

金字塔模块可以提取多尺度特征，由于原始的金字塔模块参数量过多；将原始金字塔模块的7×7卷积核，替换为1×7和7×1的并联卷积核，拼接这两个卷积核的结果，并输入到1×1大小的卷积核进行降维得到该层的特征信息；对于原始金字塔模块的5×5卷积核，用两个3×3卷积核级联替换；对于原始金字塔模块的3×3卷积核仍保持不变。

3.根据权利要求1所述的基于卷积神经网络的岩心FIB-SEM图像分割方法，其特征在于：

所述步骤(4)中：

将作为低层次的本层特征信息与作为高层次的上一层输出逐像素进行相加，其结果输入到空间注意力模块中，再将空间注意力模块的输出与高、低层次特征信息的相加结果相加，并输入至反卷积层进行降维和上采样，得到最终的输出结果；整个处理模块即为融合多尺度空间注意力模块。

4.根据权利要求1所述的基于卷积神经网络的岩心FIB-SEM图像分割方法，其特征在于：

所述步骤(5)中：

在通过亚像素卷积模块进行恢复原始分辨率之前，首先将步骤(4)的输出特征图(输入尺寸为h×w×channels)输入到一个卷积核大小为3×3，步长为默认1，通道数为channels*r²，且填充模式为“same”的卷积层，其中channels为输入特征图的通道数，r为上采样因子为4；该卷积层的输出为[h,w,r²channels]，之后再依次输入至亚像素卷积模块和一个卷积核大小为1×1，步长为1，的卷积核，最终输出特征图的维度为[rh,rw,2]。

Images