CN111445488A - 一种弱监督学习自动识别和分割盐体的方法 - Google Patents

Abstract

一种弱监督学习自动识别和分割盐体的方法，使用Grabcut算法对盐体图片进行预处理，初步分割出盐体轮廓，得到训练集，再使用卷积神经网络建立弱监督分割模型，利用损失函数引导模型学习盐体的特征，通过迭代的方式不断修正训练集中的标注，所述标注指有盐和无盐两种标注，使训练集的标签逐像素更为准确，得到训练好的弱监督分割模型，用于分割待测图片中盐体位置轮廓。本发明实现机器自动准确识别出盐体是否存在及存在的位置和轮廓，在数据集标注不完整、不准确的情况下，能够学习盐体的特征，实现对盐体的高效准确分割。

Description

一种弱监督学习自动识别和分割盐体的方法

技术领域

本发明属于机器学习、计算机图像处理和地质建模技术领域，涉及深度学习中的弱监督和语义分割，为一种弱监督学习自动识别和分割盐体的方法。

背景技术

地球上储藏了大量石油和天然气的区域，其地表下存有大量的沉积盐。但要准确找出哪些地方有沉积盐并不容易，专业的地震成像仍需要对盐矿进行专业的人工判断，这导致了非常主观、高度可变的渲染过程。此外，这对石油和天然气开采造成了潜在隐患。因此找到一种自动、准确识别地表是否存在盐体及盐体轮廓的算法显得尤为重要。

图像语义分割是机器自动从图像中分割出目标区域，并识别其中的内容，为每个像素分配一个类别。深度学习是机器学习中一种基于对数据进行表征学习的方法。深度学习技术能够有效地提取图像中的语义信息，并结合分类器辅助进行像素分类。目前，主流的深度学习模型有卷积神经网络(convolutional neural network，简称CNN)、循环神经网络(recurrent neural network，简称RNN)和生成对抗网络(generative adversarial work，简称GAN)。在深度学习应用到计算机视觉领域，CNN不仅能很好地实现图像分类，且对于分割问题也取得了很大进展。CNN基本结构为输入层、卷积层、池化层、全连接层及输出层组成。输入图像经过CNN多个卷积操作和池化操作进行特征提取，将底层粗糙特征逐步转变为高层精细特征，高层特征再经过全连接层和输出层后进行分类。CNN由于其特殊的网络结构，特别适合处理图像数据，对平移、伸缩、倾斜等图像形变具有较高的不变形。与传统机器学习方法相比，CNN特征提取由机器自动提取，学习能力强、可处理较为复杂的数据，可移植性高。

Grabcut算法作为图像分割的经典方法，利用迭代的graphcuts进行交互式前景提取。对静态图像高效的、交互的前景/背景分割，对图像处理具有重大的现实意义。矩形框将图像中盐体包围，利用背景建立高斯混合模型，计算框内像素点是否属于背景，则剩下来的即为前景。此方法相对于卷积神经网络，只需要单张图片进行计算，计算速度快，占比内存小。对于图片轮廓较为复杂、只包含前景等情况则需要结合神经网络模型来处理。在本发明中使用此算法来对数据进行处理和标注修正。

语义分割在全监督方式下效果较好，精度也很高。而在地震数据中，往往数据量大，而标注不完整，不准确，这使得神经网络在自学习、自适应过程中，容易学到错误的信息。本发明对于数据标注不完整问题，提出了一种模型在弱监督方式下自动识别盐体并准确分割出盐体轮廓的算法。

发明内容

本发明要解决的问题是：监督语义分割主要问题在于标注信息不完整，不准确，即缺失了目标精确的边界信息。数据中标签不准确，存在盐体的图片只标注盐体的位置，没有逐像素的标签类别。

本发明的技术方案为：一种弱监督学习自动识别和分割盐体的方法，使用Grabcut算法对盐体图片进行预处理，初步分割出盐体轮廓，得到训练集，再使用卷积神经网络建立弱监督分割模型，利用损失函数引导模型学习盐体的特征，通过迭代的方式不断修正训练集中的标注，所述标注指有盐和无盐两种标注，使训练集的标签逐像素更为准确，得到训练好的弱监督分割模型，用于分割待测图片中盐体位置轮廓。

作为优选方式，包括以下步骤：

步骤1：数据集预处理；使用Grabcut算法分割出图像中盐体的轮廓，实现分割预处理，其中对于只包含背景和盐体矩形框内像素点数小于10的图片不作分割处理，比较处理后的图片与未处理的图片之间的轮廓比，对于轮廓比大于0.5的图片保留计算后图片分割预处理结果；

其中，轮廓比计算为

IoU(A,B)表示图片A和图片B盐体交集和并集比对，Grabcut算法采用矩阵框模式分割轮廓，即弱监督数据为矩形框形式；

步骤2：弱监督分割模型训练；以预处理后的数据集作为训练集，首先判断训练集每张图片像素点是否可作为其他像素点能量和进行计算，生成和图片相同尺寸的矩阵源掩码，对每张图片的可信像素点和不可信像素点对应相同尺寸矩阵计算矩阵目标掩码，然后加上训练集图片作为输入，传入到弱监督分割模型中进行训练，学习盐体的特征；

弱监督分割模型使用U-Net和ResNet为基础，加上针对通道卷积的SCSE模块，损失函数为针对分割任务评价指标IoU的Lovasz函数和针对弱监督的GatedCRFLoss函数，以及针对二分类的交叉熵BCELoss函数，优化器为SGD，数据增强操作包括水平翻转、随机亮度、随机对比、平移、缩放和旋转。

进一步的，对弱监督分割模型还进行后处理，包括后处理挑选图片和后处理全监督训练，后处理挑选图片根据训练集图像的置信度挑选图像，全监督分割模型与若减速分割模型结构一致，用挑选的图像输入全监督模型进行训练，得到全监督分割模型，对全监督模型再由训练集训练后，用于分割待测图片的盐体。

作为优选方式，具体为：

步骤3：后处理挑选图片；利用训练出的弱监督分割模型对训练集进行预测，计算每张图片的可信度ξ值，ξ值计算为：

上式为每张图片ξ值计算，其中E为图片总像素点数，p(e)为像素点e由分割模型预测的概率值，m和n为设定的区间上下限，初始为m＝0.15,n＝0.85，随迭代次数增加，设定上下限更新步长，使得m值趋于0而n值趋于1；

同时计算每张预测出来的图片和原图片的轮廓比，挑选出满足ξ值和轮廓比均大于给定阈值的图片，作为全监督分割模型的输入；

其中，ξ值比较的阈值θ₁设置为0.8，且不随迭代而变化，轮廓比比较的阈值θ₂随迭代次数呈增加来设置，初始值为0.8，随迭代增加步长为0.01；

步骤4：后处理全监督训练及预测；全监督分割模型对挑选出的图片进行训练，对剩下未被挑选图片进行预测，对挑选出的图片Ω₁和未挑选图片的预测结果Ω₂，两数据集合并Ω＝Ω₁+Ω₂，Ω再返回步骤2训练弱监督分割模型，如此迭代至步骤3给定置信度阈值和轮廓比的值不再上调，或达到迭代次数；其中全监督模型与弱监督模型结构一致，仅全监督模型的损失函数不包含针对弱监督的损失函数GatedCRFLoss函数；

步骤5：全监督训练及预测，并提交结果；将全部训练集放入到全监督模型中训练，对测试集预测，预测测试集中是否存在盐体数据，如存在，则分割出盐体的轮廓边界信息。

本发明是一种基于矩形框标注盐体位置，建立分割模型网络，学习数据集中沉积盐的特征再自动识别分割出数据中的盐体的方法。地震数据逐像素的标注成本太大，本发明提出的基于图像级别标注和基于矩形框来标注盐体的方式相对简单快捷，降低成本，本发明以矩形框形式将集中出现的盐体标注出来，以拟合现实情况。矩形框标注为盐体在图片中像素点位置左上角最小值和右下角最大值两点。

本发明的基于弱监督盐体分割的方法相对于现有方法优点在于：

1.本发明方法针对提供矩形框标注的弱监督进行语义分割，在kaggle平台上的成绩为iou＝0.829，排行榜全监督下最高为0.892。即可达到全监督的92.97％。整个流程，数据集预处理、模型训练、后处理过程，为机器自动学习盐体特征，识别盐体，不需要人工干预。

2.本发明使用传统方法Grabcut算法对数据集进行预处理，对部分数据进行预分割，计算快，不需要大量数据即可完成，对实施结果的正确率有提高。未使用Grabcut时结果为0.818，结果提高1.37％。

3.本发明中设计使用了门控全连接条件随机场损失函数GatedCRFLoss函数，对实验结果有提高。该函数未引入任何先验知识情况下，缩小和全监督分割模型的性能差距。未使用时的结果为0.796，结果提高9.6％。

本发明目的在于机器自动准确识别出盐体是否存在，并标注出存在的位置和轮廓，为语义分割任务。同时拟合实际地震数据标注不完整，标注费时等情况，训练集中图片在存在盐体时标注只包含该目标的矩形框，并不用给出具体像素点类别。使用本发明方法可以达到全监督下结果的92.97％，在节约计算资源的情况下准确性得到保证，结果良好。

附图说明

图1为本发明的流程图。

图2为本发明的分割模型结构图。

图3为本发明的模型中残差模块。

图4为本发明的模型中的scSE模块。

具体实施方式

本发明提供了一种弱监督盐体自动识别分割的深度学习的方法，在数据集标注不完整、不准确的情况下，本发明方法能够学习盐体的特征，使用迭代的方式不断调整训练集使之逐像素标签更为准确，再分割出测试集中盐体位置轮廓。数据集包括训练集和测试集，其中测试集不包含类别标签。使用Grabcut算法对盐体图片进行处理，可以对较为简单盐体形状的数据分割出较好结果，并对最终结果有提高效果，且算法运行较快，在CPU上即可快速执行完成。之后利用GatedCRFLoss函数对分割模型进行引导和调节，尽可能减少和全监督下模型训练差距。对于输入的和图片尺寸相同的两个矩阵，本发明告知了模型哪些像素点可信，减少不可信像素点对能量和计算的干扰。后处理通过置信度和轮廓比来筛选模型预测的数据，对于盐体轮廓变化较大者丢弃。筛选的数据进行全监督训练，并对未选上图片进行预测。两者数据集合并作为弱监督的输入，进行下一轮的迭代训练筛选至达到迭代次数或置信度和轮廓比阈值不再调整。最后全监督训练并对测试集预测，提交结果。图1给出了本发明的主要流程。

结合附图和具体实施方式对本发明做进一步详细描述：

步骤1：数据集预处理。使用Grabcut算法分割出存在盐体图片中盐体的轮廓，其中对于只包含背景，以及盐体矩形框内像素点数小于10的图片不作分割处理，因为这两种情况，算法无法在每张图片中建立关于背景的高斯混合模型。对于使用Grabcut算法处理出来的图片，比较输入时的图片两者之间的轮廓比，对于轮廓比大于0.5的图片保留计算后图片结果，否则舍弃分割结果；

轮廓比计算为

为图片A和图片B盐体交集和并集比对。Grabcut算法计算为直接调用opencv中函数grabcut，输入掩码中，前景为1，背景为0。

经过预处理，在有说明对于图片中存在边界框的情况，即此数据存在盐体，边界框外为真实背景。对于纯背景图片和纯前景图片不予Grabcut预处理，因为在这种情况下无法建立关于背景的高斯混合模型。数据集形成弱监督数据集，分割盐体轮廓时选择模式为矩阵模式，即弱监督为矩形框形式。

步骤2：模型训练。以预处理后的数据集作为训练集，训练集包括数据集的所有图片，即：未经Grabcut算法处理的数据部分，经Grabcut算法处理并被保留结果的数据部分，和经Grabcut算法处理未能保留下来部分，将这三部分数据图片作为弱监督分割模型的训练集。首先判断每张图片像素点是否可作为其他像素点能量和计算，生成和图片相同尺寸的矩阵源掩码，以及每张图片的可信像素点和不可信像素点对应相同尺寸的矩阵计算的矩阵目标掩码，加上训练集图片作为输入，传入到弱监督分割模型中进行训练，学习盐体的特征。图2给出了本发明过程的流程，全监督和弱监督下的网络模型相同。

这里弱监督使用的分割模型为U-Net(U型网络)和ResNet(残差网络)为基础，加上针对通道卷积的scSE(ConcurrentSpatialand Channel‘Squeeze&Excitation’)模块，损失函数为针对分割任务评价指标IoU的Lovasz(TheLovasz-Softmax loss)函数和针对弱监督的GatedCRFLoss(门控全连接损失)函数，以及针对二分类的交叉熵BCELoss(二分类交叉熵损失)函数，优化器为SGD(随机梯度下降，StochasticGradientDescent)，数据增强包括水平翻转、随机亮度、随机对比、平移、缩放、旋转等增强操作。

U-Net网络结构为编码器-解码器结构，编码器部分特征提取，解码器部分为上采样，使用拼接方式实现特征融合。本发明的U-Net网络简单高效稳定，在较小数据集下可以得到较好结果，在特征提取部分，加入了ResNet模块和SCSE模块。

ResNet模块能够加深网络、加快收敛速度，模型参数更少，解决了深网络退化和难以训练问题。ResNet通过在卷积层输出时y＝F(x)，变成了y＝F(x)+x形式。引入跳跃结构，在深层网络时，恒等映射可以达到浅层网络的最优解，则直接跳跃，反向传播时信息可以无衰减地传递，缓解因加深层次而导致梯度消失问题。图3给出了残差模块的结构图。

scSE模块学习通道之间相关性，对卷积之后得到的特征图进行处理，得到和通道数相同的一维向量作为每个通道的评价分数，施加到对应通道上，从而提升有用的特征并抑制对当前实验影响较小的特征，详见论文《Concurrent Spatial and Channel Squeeze&Excitation in Fully Convolutional Networks》(AbhijitGuha Roy，Nassir Navab，Christian Wachinger)。图4给出了scSE模块的结构，首先通过池化操作将特征压缩到一系列实数，再通过卷积将输入维度降维，再维度恢复，最后使用激活函数将权重归一化到0～1之间，再通过scale操作逐通道加权到特征上。

训练集中提供的矩形框是准确的，即存在矩形框的图片，框内必定有盐体像素点。CatedCRFLoss函数适用于点击(click-based)和描画(scribble-based)的弱标注数据，因此适用于本发明设计的包含矩形框的情形。详见论文《Gated CRF Loss for WeaklySupervised Semantic Image Segmentation》(AntonObukhov，StamatiosGeorgoulis，Dengxin Dai，Luc Van Gool).

GatedCRFLoss函数计算过程为：首先定义类别i和i，位置a和b的能量项计算公式为：

ψ_a，b(i，j)＝μ(i，j)K_a.b (1)

其中

i和j为任意不同类别，a和b为数据中任意不同位置，这里对应图片中任意像素点的位置。ψ_a，b为两个点对的势，μ(i，j)为通用类别矩阵，形状为R^CxC，类别为C，后跟K_a，b，ω^(p)为权重。

是位置a处的第p个核的特征向量，

为位置b处的第p个核的特征向量，

和

的计算和预测值无关，一般由位置坐标和输入形式(如RGB或depth)组成。σ^(p)为第p个核处带宽(bandwidth)参数，通过此参数和多类别Potts模型计算高斯核如下：

其中

预测值用

表示，在位置a预测值为

b处预测值为

两位置处的势计算如下：

对于预测值

能量项的计算，引入门控函数

进行优化，即能量项的计算为：

ψ_a，b(i，j)＝μ(i，j)G_abK_αb (7)

源掩码定义为：能量项计算不包含像素点自己给自己打标签情况和一些其他位置无关像素点。在本发明中无关像素点为与图片尺寸大小相同的矩阵，矩阵值为0或1，为1时，表示可以用于给其他位置计算势，为0时则不可以。这里设置背景点为1，可能前景点为0。

目标掩码定义为：能量和是所有位置a∈[1，N]能量累加。对于弱监督，标签不准确情况，部分点参与计算，对能量和可能不利，因此需要排除出来。设置和图片尺寸大小相同的矩阵，矩阵值为0或1，为1时表示该像素点可以从其他位置的像素点接收能量，为0则不可以。这里设置背景点和以前景矩形框中心为圆心，给定值为半径，圆内像素点值为1，其余点为0.半径值初始为5，随着迭代次数增加，半径值线性增加。

步骤3：后处理挑选图片。利用训练出的模型对训练集进行预测，计算每张图片的可信度ξ值，ξ值计算为：

式(8)为每张图片ξ值计算，其中E为图片总像素点数，p(e)为像素点e由分割模型预测的概率值，m和n为设定的区间上下限，初始为m＝0.15，n＝0.85，随迭代次数增加，设定上下限更新步长，使得m值趋于0而n值趋于1；一般二分类问题中，模型预测概率值在大于0.5为正类，小于0.5为负类，ξ值含义为模型在当次训练后，对每张图片预测“可信”的程度，值越大，图片内“可信”分类像素点数越多，“可信”程度越大。

同时计算每张预测出来的图片和原图片的轮廓比，挑选出满足ξ值和轮廓比均大于给定阈值的图片，作为全监督分割模型的输入；

其中，ξ值比较的阈值θ₁设置为0.8，且不随迭代而变化。轮廓比比较的阈值θ₂随迭代次数呈增加来设置，初始值为0.8，随迭代增加步长为0.01；

轮廓比值计算同步骤1。

步骤4：后处理全监督训练及预测。全监督模型对挑选的图片进行训练，对剩下未挑选图片进行预测，对挑选出的图片Ω₁和未挑选图片的预测结果Ω₂，两数据集合并Ω＝Ω₁+Ω₂，将Ω返回步骤2训练。如此迭代至步骤3给定置信度阈值和轮廓比值不再增长上调，或达到迭代次数。全监督模型与弱监督模型结构一致，全监督模型中仅损失函数不包含针对弱监督的损失函数GatedCRFLoss函数。

步骤5：全监督训练及预测，将全部训练集放入到全监督模型中训练，对测试集预测，，预测测试集中是否存在盐体数据，如存在，则分割出盐体的轮廓边界信息。

预测结果生成csv文件，提交预测结果到kaggle平台，结果分数值为IoU值。

kaggle平台根据IoU阈值上不同交叉点的平均精度来计算比分。提交的目标像素预测值和真实目标像素之间的IoU分数计算方式如下：

该公式中，计算每个点的平均精度值。IoU阈值的范围为[0.5,0.95]，步长为0.05.例如在阈值为0.5时，如预测目标和真实目标交集大于0.5，则该预测对象“命中”。

在每个阈值t处，基于预测目标与所有真实目标对比所产生的TP(预测为真和真值为真)、FN(预测为假，真值为真)和FP(预测为真，真值为假)的数量来计算精度值：

当单个预测目标与真实目标匹配并且IoU高于阈值时，记为TP。FP表示预测目标没有与之关联的真实对象，即预测为盐体，实际为背景，FN表示真实目标没有与之关联的预测目标，即预测为背景，实际为盐体。然后，将上述每个IoU阈值上精度值的平均值作为单个图像的平均精度值：

最后，竞赛的评估度量返回的分数是测试数据集中每个图像平均精度的平均值。

本发明基于弱监督深度学习盐体分割，使用Grabcut算法对数据集进行预处理，分割部分形状较为简单的盐体数据，再使用卷积神经网络建立分割模型，利用损失函数引导模型正确地学习盐体的特征，迭代的方式不断修正数据中不准确的标注。最后利用分割模型对没有标注的测试集进行预测，计算测试集的轮廓比(intersection-over-union，简称IoU)，在kaggle比赛平台，成绩为IoU＝0.829，排行榜全监督下最高成绩为0.892，即本发明可达到全监督的92.97％，而在计算效率上得到大大提高。

本发明提出了一种针对弱监督语义分割的方法。Grabcut算法利用给定的训练集中包围盐体的矩形框，建立关于背景的高斯混合模型，可以分割部分简单形状的盐体数据，从而对后面模型学习结果有提高。通过使用深度学习模型，机器学习盐体的特征，自动识别盐体轮廓，区分出前景和背景，分割较为复杂形状的盐体数据。这既不需要人工干预，同时减少人工在数据集上标注的时间。U-Net分割模型简单高效，适用于小型数据集，且加入ResNet模块，优化模型，加入scSE模块，使模型更注重重要特征，减少无用特征计算。门控全连接损失函数的使用，减少了弱监督分割和强监督分割方法之间差距，简单高效且实用。

Claims (4)

1.一种弱监督学习自动识别和分割盐体的方法，其特征是使用Grabcut算法对盐体图片进行预处理，初步分割出盐体轮廓，得到训练集，再使用卷积神经网络建立弱监督分割模型，利用损失函数引导模型学习盐体的特征，通过迭代的方式不断修正训练集中的标注，所述标注指有盐和无盐两种标注，使训练集的标签逐像素更为准确，得到训练好的弱监督分割模型，用于分割待测图片中盐体位置轮廓。

2.根据权利要求1所述的一种弱监督学习自动识别和分割盐体的方法，其特征是包括以下步骤：

步骤1：数据集预处理；使用Grabcut算法分割出图像中盐体的轮廓，实现分割预处理，其中对于只包含背景和盐体矩形框内像素点数小于10的图片不作分割处理，比较处理后的图片与未处理的图片之间的轮廓比，对于轮廓比大于0.5的图片保留计算后图片分割预处理结果；

其中，轮廓比计算为

IoU(A,B)表示图片A和图片B盐体交集和并集比对，Grabcut算法采用矩阵框模式分割轮廓，即弱监督数据为矩形框形式；

步骤2：弱监督分割模型训练；以预处理后的数据集作为训练集，首先判断训练集每张图片像素点是否可作为其他像素点能量和进行计算，生成和图片相同尺寸的矩阵源掩码，对每张图片的可信像素点和不可信像素点对应相同尺寸矩阵计算矩阵目标掩码，然后加上训练集图片作为输入，传入到弱监督分割模型中进行训练，学习盐体的特征；

弱监督分割模型使用U-Net和ResNet为基础，加上针对通道卷积的SCSE模块，损失函数为针对分割任务评价指标IoU的Lovasz函数和针对弱监督的GatedCRFLoss函数，以及针对二分类的交叉熵BCELoss函数，优化器为SGD，数据增强操作包括水平翻转、随机亮度、随机对比、平移、缩放和旋转。

3.根据权利要求1或2所述的一种弱监督学习自动识别和分割盐体的方法，其特征是对弱监督分割模型还进行后处理，包括后处理挑选图片和后处理全监督训练，后处理挑选图片根据训练集图像的置信度挑选图像，全监督分割模型与若减速分割模型结构一致，用挑选的图像输入全监督模型进行训练，得到全监督分割模型，对全监督模型再由训练集训练后，用于分割待测图片的盐体。

4.根据权利要求3所述的一种弱监督学习自动识别和分割盐体的方法，其特征是具体为：

步骤3：后处理挑选图片；利用训练出的弱监督分割模型对训练集进行预测，计算每张图片的可信度ξ值，ξ值计算为：

上式为每张图片ξ值计算，其中E为图片总像素点数，p(e)为像素点e由分割模型预测的概率值，m和n为设定的区间上下限，初始为m＝0.15,n＝0.85，随迭代次数增加，设定上下限更新步长，使得m值趋于0而n值趋于1；

同时计算每张预测出来的图片和原图片的轮廓比，挑选出满足ξ值和轮廓比均大于给定阈值的图片，作为全监督分割模型的输入；

其中，ξ值比较的阈值θ₁设置为0.8，且不随迭代而变化，轮廓比比较的阈值θ₂随迭代次数呈增加来设置，初始值为0.8，随迭代增加步长为0.01；

步骤4：后处理全监督训练及预测；全监督分割模型对挑选出的图片进行训练，对剩下未被挑选图片进行预测，对挑选出的图片Ω₁和未挑选图片的预测结果Ω₂，两数据集合并Ω＝Ω₁+Ω₂，Ω再返回步骤2训练弱监督分割模型，如此迭代至步骤3给定置信度阈值和轮廓比的值不再上调，或达到迭代次数；其中全监督模型与弱监督模型结构一致，仅全监督模型的损失函数不包含针对弱监督的损失函数GatedCRFLoss函数；

步骤5：全监督训练及预测，并提交结果；将全部训练集放入到全监督模型中训练，对测试集预测，预测测试集中是否存在盐体数据，如存在，则分割出盐体的轮廓边界信息。

Images