CN109949317A - 基于逐步对抗学习的半监督图像实例分割方法 - Google Patents

Abstract

本发明公开了一种基于逐步对抗学习的半监督图像实例分割方法，包括步骤：1、构建Mask R‑CNN实例分割模型；2、基于DCGAN训练Mask R‑CNN中的FPN；3、采用标注数据对Mask R‑CNN中的其他模块进行初步训练；4、构建判别卷积网络，与Mask R‑CNN构成对抗学习网络，通过对抗训练，优化对抗学习网络的参数；5、将判别卷积网络的输出反馈至Mask R‑CNN，对实例分割模型进行再训练；6、利用实例分割模型对待分割图像进行分割。该方法利用仅有部分标注图像的样本集进行模型训练，减少了处理样本的工作量，且能够获得较高精确度的分割模型。

Description

基于逐步对抗学习的半监督图像实例分割方法

技术领域

本发明涉及图像实例分割领域，具体涉及一种基于逐步对抗学习的图像半监督实例分割方法。

背景技术

图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，是由图像处理到图像分析的关键步骤。深度学习技术通过从海量的数据中自动学得更加有效的图像特征表达，成功用于一般物体的图像检测和分割，但将深度学习方法用于特定任务的图像检测与分割仍存在巨大的困难和挑战：现有的目标实例分割方法要求所有训练实例都必须标记有分割掩码，使得注释新类别的成本十分昂贵。本发明落足于电网设备图像实例分割，电网设备种类繁多且数据量极大，但只有少部分图像具有掩码标注。

针对大量图像样本的昂贵标注问题，半监督学习是一种有效的解决途径。在半监督场景中，通过只有一小部分有标注的图像样本，大部分图像样本都未被标注。半监督学习能让学习器不依赖外界交互、自动地利用未标注样本来提升学习性能。未标注数据代表了实际场景数据集的分布情况，让深度学习模型充分学习这些数据分布信息可大大提高模型的性能表现。Huaxin Xiao等人提出了一个可迁移的半监督语义分割方法，通过标签迁移网络和预测迁移网络实现了从强类别到弱类别的迁移，且通过生成对抗网络精细化分割(见“Huaxin Xiao，Transferable Semi-supervised Semantic Segmentation，AAAI 2018”)。Nasim Souly等人使用生成对抗网络实现半监督语义分割，具体使用分割网络代替传统判别器，在使用标注数据训练的同时，通过判别未标注数据和假数据来学得未标注数据的分布，提高了语义分割模型的性能(见“Nasim Souly，Semi Supervised SemanticSegmentation Using Generative Adversarial Network，ICCV 2017”)。Seunghoon Hong等人通过解耦深度神经网络，并构建了一个从分类网络到分割网络的桥，利用训练数据的像素级标注和类别标签实现了半监督语义分割(见“Seunghoon Hong，Decoupled DeepNeural Network for Semi-supervised Semantic Segmentation，NIPS 2015”)。但是这些半监督学习技术大多用于语义分割，用于实例分割的还相对较少。也有少部分研究员在解决弱监督实例分割问题的时候，尝试解决半监督实例分割，如QizhuLi等人提出一个弱监督和半监督的全景分割方法，通过类别和边框标注实现了图像实例分割，但存在重叠实例分割不能区分问题(见“QizhuLi，Weakly-and Semi-Supervised Panoptic Segmentation，ECCV 2018”)。

近年来，图像实例分割技术高速发展，诞生了如MaskR-CNN、PANet、MaskLab等许多优秀的实例分割模型，但是针对特定任务领域往往没有足够的掩码标注数据来实现这些模型。当前在各种基准数据集上表现最为优秀的模型大都采用基于FasterR-CNN的两阶段结构，这与语义分割模型具有较大差异。所以针对半监督图像实例分割问题，依旧存在很大的技术困难和挑战。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供了一种基于逐步对抗学习的半监督图像实例分割方法；该方法利用仅有部分标注图像的样本集进行模型训练，减少了处理样本的工作量，且能够获得较高精确度的分割模型。

技术方案：本发明采用如下技术方案：

基于逐步对抗学习的半监督图像实例分割方法，包括如下步骤：

(1)采集多幅待分割图像样本，对其中部分图像进行标注，得到标注数据集{X_l，Y_l}，其中X_l表示图像集合，Y_l表示掩码标注集合；未标注的样本构成未标注数据集X_u；

构建实例分割模型，所述实例分割模型为Mask R-CNN，其主干网络为特征金字塔网络FPN；所述Mask R-CNN还包括区域生成网络、RolAlign、反卷积网络；所述FPN对输入图像进行特征提取并生成特征图，特征图输入到区域生成网络中，RolAlign对特征图以及区域生成网络的输出进行处理，处理结果输入到反卷积网络生成预测的掩码；

(2)对实例分割模型中的FPN进行训练：构建深度卷积生成对抗网络，Mask R-CNN中的FPN与真伪二分类器依次连接作为所述深度卷积生成对抗网络的判别器；将采集的图像样本集X_l∪X_u作为真实数据样本输入判别器，对深度卷积生成对抗网络进行训练，确定生成器和判别器的参数；

(3)对实例分割模型进行初步训练：保持步骤(2)中训练后FPN的参数不变，以标注数据集{X_l，Y_l}作为样本，训练所述实例分割模型，优化Mask R-CNN其他模块的参数，得到能够生成粗分割掩码的实例分割模型；

(4)构建对抗学习网络，所述对抗学习网络包括实例分割模型、编码模块和判别卷积网络；所述实例分割模型对输入图像进行掩码预测，并生成类别置信图；编码模块对类别置信图和标注数据的掩码进行编码，编码后的数据作为判别卷积网络的输入，判别卷积网络对输入的编码数据进行判别，生成分割表现置信图，对实例分割模型的分割结果进行判断；

以图像样本集X_l∪X_u作为输入，对实例分割模型和判别卷积网络进行交替迭代训练，优化实例分割模型和判别卷积网络的参数；

(5)对实例分割模型进行再训练：以未标注数据集X_u作为对抗学习网络的输入，实例分割模型对输入图像进行掩码预测生成类别置信图，编码模块对类别置信图编码，编码后的数据经过判别卷积网络生成分割表现置信图，对分割表现置信图中置信度高于阈值T_semi的区域反馈到实例分割模型中，对实例分割模型进行再训练；T_semi为预设的判别阈值；

(6)将待分割的图像输入到步骤(5)训练后的实例分割模型，得到预测掩码即为分割结果。

所述深度卷积生成对抗网络的生成器采用转置卷积网络。

所述深度卷积生成对抗网络的损失函数为：

其中G表示生成器，D表示判别器，z表示生成器的输入噪声变量，p_data表示真实数据X_lUX_u的分布，D(x)表示判别器的输出，G(z)表示生成器的输出，表示在真实数据上的数学期望，表示在噪声数据上的数学期望。

所述判别卷积网络包括6个卷积层和一个转置卷积层，所述6个卷积层的通道数分别为64，128，128，256，256，512，且卷积核均为3x3。

步骤(4)中编码模块对类别置信图和标注数据的掩码进行编码的步骤为：

获取类别置信图或标注数据的掩码所对应的原始图像；将原始图像RGB三通道数据分别与待编码的类别置信图或标注数据掩码的各个图层相同像素位置上的像素值相乘，得到3×(C+1)个通道的编码数据；其中C为不包括背景的总类别数。

步骤(4)中对实例分割模型和判别卷积网络进行交替迭代训练的目标函数为：

其中λ是平衡两部分损失的系数，x_l表示标注数据，y_l表示标注的掩码真值，x_u表示未标注数据，p_data表示数据分布，(i，j)表示判别卷积网络输出的分割表现置信图的像素位置，S表示实例分割模型，D_CNN表示判别卷积网络，表示数学期望；

交替迭代训练过程中，训练实例分割模型的时候，保持判别卷积网络的参数不变；训练训练判别卷积网络的时候，保持实例分割模型的参数不变，如此交替迭代，实例分割模型和判别卷积网络都训练固定的步骤，直至收敛。

步骤(5)中，对实例分割模型进行再训练的损失函数为：

其中I(·)表示指示函数，D_CNN表示判别卷积网络，S表示实例分割模型，x_u是未标注数据，c表示类别，(i，j)表示判别卷积网络输出的分割表现置信图的像素位置，T_semi为预设的分割表现优劣的判断阈值，采用one-hot编码，当c^*＝arg max_c S(x_u)(i，j，c)时否则为0。

有益效果：与现有技术相比，本发明公开的半监督实例分割方法具有以下优点：1、由粗到精、层层递进，逐阶段地改善优化Mask R-CNN主干网络性能，进而提升图像实例分割性能；2、对于未标注数据完全不使用任何标签，包括类别标签和边框标签，减少了处理样本的工作量。

附图说明

图1为本发明公开的半监督实例分割方法的流程图；

图2为实例分割模型的结构框图；

图3为DCGAN的结构框图；

图4为本发明构建的对抗学习网络结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施案例做说明。

本发明公开了一种基于逐步对抗学习的半监督图像实例分割方法，如图1所示，包括如下步骤：

步骤1、采集多幅待分割图像样本，对其中部分图像进行标注，得到标注数据集{X_l，Y_l}，其中X_l表示图像集合，Y_l表示掩码标注集合；未标注的样本构成未标注数据集X_u；

构建实例分割模型，所述实例分割模型为Mask R-CNN，其结构如图2所示，其主干网络为特征金字塔网络FPN；Mask R-CNN还包括区域生成网络RPN、RolAlign、反卷积网络Deconv；所述FPN对输入图像进行特征提取并生成特征图，特征图输入到区域生成网络中，RolAlign对特征图以及区域生成网络的输出进行处理，处理结果输入到反卷积网络Deconv生成预测的掩码.

MaskR-CNN模型的相关内容见文献“KaimingHe，MaskR-CNN，ICCV 2017”。由于实例分割模型Mask R-CNN是一个分阶段网络，无论是用于区域生成的RPN还是用于掩码生成的反卷积网络都依赖于主干网络的特征提取，因此作为主干网络的FPN参数对分割结果的影响非常大。在步骤2中，采用DCGAN来训练FPN的参数。

步骤2、对实例分割模型中的FPN进行训练：构建深度卷积生成对抗网络(DCGAN)，如图3所示，DCGAN包括生成器和判别器，生成器用于生成假图像数据，判别器的输入是生成器的输出和真实数据样本。本实施例中，生成器采用转置卷积网络，Mask R-CNN中的FPN与真伪二分类器依次连接作为判别器。生成器的相关内容见文献“Alec Radford，Unsupervised Representation Learning with Deep Convolutional GenerativeAdversarial Networks，ICLR 2016”。

本发明中将采集的图像样本集X_lUX_u作为真实数据样本输入判别器，对深度卷积生成对抗网络进行训练，确定生成器和判别器的参数，从而训练得到一个学得未标注数据分布的特征金字塔网络FPN。生成器和判别器以一种二元极小极大博弈(即对抗训练)的方式进行训练，损失函数为：

其中G表示生成器，D表示判别器，z表示生成器的输入噪声变量，p_data表示真实数据X_lUX_u的分布，D(x)表示判别器的输出，G(z)表示生成器的输出，表示在真实数据上的数学期望，表示在噪声数据上的数学期望。通过训练使到噪声分布p_z收敛于真实数据分布p_data，生成器能生成近似于真实数据的假数据。

步骤3、对实例分割模型进行初步训练：保持步骤(2)中训练后FPN的参数不变，以标注数据集{X_l，Y_l}作为样本，训练所述实例分割模型，优化Mask R-CNN其他模块的参数，得到能够生成粗分割掩码的实例分割模型；

步骤4、构建对抗学习网络，如图4所示，所述对抗学习网络包括实例分割模型、编码模块和判别卷积网络Discriminator；所述实例分割模型对输入图像进行掩码预测，并生成类别置信图；编码模块对类别置信图和标注数据的掩码进行编码，编码后的数据作为判别卷积网络的输入，判别卷积网络对输入的编码数据进行判别，生成分割表现置信图，对实例分割模型的分割结果进行判断；

Mask R-CNN对输入图像进行预测，得到各个像素点属于每个类别的概率，组成类别置信图，即类别置信图包括C+1个图层，C为不包括背景的总类别数。第k个图层中像素(u，v)处的值为输入图像像素(u，v)属于第k类的概率；像素(u，v)处概率最大类别作为该像素点的掩码，所有的像素点的掩码组成了输入图像的掩码预测结果，由此掩码同样具有C+1个图层。

编码模块对类别置信图和标注数据的掩码进行编码的步骤为：

获取类别置信图或标注数据的掩码所对应的原始图像；将原始图像RGB三通道数据分别与待编码的类别置信图或标注数据掩码的各个图层相同像素位置上的像素值相乘，得到3×(C+1)个通道的编码数据。

本发明中，判别卷积网络包括6个卷积层和一个转置卷积层，所述6个卷积层的通道数分别为64，128，128，256，256，512，且卷积核均为3x3。转置卷积层的设置使得输出的分割表现置信图尺寸等于实例分割模型输入图像的尺寸。

判别卷积网络逐像素地判断编码数据是来自类别置信图还是来自标注数据的掩码真值；如果是来自类别置信图，则分割表现置信图中相应像素处的为0；如果判断为来自标注数据的掩码真值，则分割表现置信图中相应像素处的为1，由此，得到一个单通道的分割表现置信图，用来判断分割效果的好坏。

本发明中，以图像样本集X_lUX_u和标注数据的掩码集合Y_l作为输入，对实例分割模型和判别卷积网络进行交替迭代训练，优化实例分割模型和判别卷积网络的参数；

对实例分割模型和判别卷积网络进行交替迭代训练的结果是使对抗学习网络达到纳什均衡，其目标函数为：

其中λ是平衡两部分损失的系数，x_l表示标注数据，y_l表示标注的掩码真值，x_u表示未标注数据，p_data表示数据分布，(i，j)表示判别卷积网络输出的分割表现置信图的像素位置，S表示实例分割模型，D_cNN表示判别卷积网络，表示数学期望；

交替迭代训练过程中，训练实例分割模型的时候，保持判别卷积网络的参数不变；训练训练判别卷积网络的时候，保持实例分割模型的参数不变，如此交替迭代，实例分割模型和判别卷积网络都训练固定的步骤，直至收敛。

不像全连接条件随机场模型关注于图像的细节纹理且受限于指定类别，对抗学习更关注高阶的分割连续性且无类别限制更加适用于半监督学习。所以本步骤通过对抗学习的方式优化了实例分割模型的掩码生成网络，使得分割结果尽可能地接近真值，从而使得分割结果更加准确。此外，也得到一个能够鉴别未标注数据分割表现优劣的判别卷积网络。

由标注数据训练得到实例分割模型在未知数据上的输出和标注数据上的输出有明显的不同。理想情况下，标注数据和未标注数据有相同的分布，并且在实例分割模型上的输出相似。但实际情况中，数据的维度较大，标注数据不能完全表示未知数据的变化，所以得到的模型在标注数据上的性能更好。这里通过判别卷积网络以对抗学习的方式学得了隐含的真值与预测结果的拟合模式，这也迁移到了未标注数据上并尽可能消除了上述差异，使得未标注数据的分割结果尽可能地与标注数据相似，提升泛化性能。

步骤5、对实例分割模型进行再训练：以未标注数据集X_u作为对抗学习网络的输入，实例分割模型对输入图像进行掩码预测生成类别置信图，编码模块对类别置信图编码，编码后的数据经过判别卷积网络生成分割表现置信图，对分割表现置信图中置信度高于阈值T_semi的区域反馈到实例分割模型中，对实例分割模型进行再训练；T_semi为预设的判别阈值；

对实例分割模型进行再训练的损失函数为：

其中I(·)表示指示函数，D_CNN表示判别卷积网络，S表示实例分割模型，x_u是未标注数据，c表示类别，(i，j)表示判别卷积网络输出的分割表现置信图的像素位置，T_semi为预设的分割表现优劣的判断阈值，采用one-hot编码，当c^*＝arg max_c S(x_u)(i，j，c)时否则为0。

步骤4的训练过程不仅提升了实例分割模型的性能，并得到一个可以鉴别分割表现的判别卷积网络。该判别卷积网络通过二值化置信图来突出信任区域，将该区域反馈到实例分割模型等同于添加新的标注数据进行再训练，进一步优化了Mask R-CNN中反卷积网络的性能，极大地提高了模型的泛化能力。

步骤6、本发明公开的半监督实例分割方法采用多次递进训练的方式实现图像实例分割的半监督学习。步骤2为第一次训练，使用真假数据学得未标注数据的分布；步骤3是第二次训练，对标注数据进行分割，得到能够生成粗分割掩码的实例分割模型；步骤4是第三次训练，使用分割模型关于标注数据和未标注数据预测的类别置信图以及掩码真值训练判别卷积网络，并与实例分割模型组成对抗训练，以此改善实例分割模型的反卷积网络性能；步骤5是第四次训练，使用步骤4所得判别卷积网络对未标注数据的分割表现进行评估，并反馈到分割模型进行再训练，优化反卷积网络。四次训练以逐步递进式学习未标注数据的知识，由浅入深，层层递进。最终得到一个使用未标注数据和对抗学习全面优化的实例分割模型，在实际使用中，将待分割的图像输入到步骤5训练后的实例分割模型，得到预测掩码即为分割结果。

Claims (7)

1.基于逐步对抗学习的半监督图像实例分割方法，其特征在于，包括如下步骤：

(1)采集多幅待分割图像样本，对其中部分图像进行标注，得到标注数据集{X_l,Y_l}，其中X_l表示图像集合，Y_l表示掩码标注集合；未标注的样本构成未标注数据集X_u；

构建实例分割模型，所述实例分割模型为Mask R-CNN，其主干网络为特征金字塔网络FPN；所述Mask R-CNN还包括区域生成网络、RolAlign、反卷积网络；所述FPN对输入图像进行特征提取并生成特征图，特征图输入到区域生成网络中，RolAlign对特征图以及区域生成网络的输出进行处理，处理结果输入到反卷积网络生成预测的掩码；

(2)对实例分割模型中的FPN进行训练：构建深度卷积生成对抗网络，Mask R-CNN中的FPN与真伪二分类器依次连接作为所述深度卷积生成对抗网络的判别器；将采集的图像样本集X_l∪X_u作为真实数据样本输入判别器，对深度卷积生成对抗网络进行训练，确定生成器和判别器的参数；

(3)对实例分割模型进行初步训练：保持步骤(2)中训练后FPN的参数不变，以标注数据集{X_l,Y_l}作为样本，训练所述实例分割模型，优化Mask R-CNN其他模块的参数，得到能够生成粗分割掩码的实例分割模型；

(4)构建对抗学习网络，所述对抗学习网络包括实例分割模型、编码模块和判别卷积网络；所述实例分割模型对输入图像进行掩码预测，并生成类别置信图；编码模块对类别置信图和标注数据的掩码进行编码，编码后的数据作为判别卷积网络的输入，判别卷积网络对输入的编码数据进行判别，生成分割表现置信图，对实例分割模型的分割结果进行判断；

以图像样本集X_l∪X_u作为输入，对实例分割模型和判别卷积网络进行交替迭代训练，优化实例分割模型和判别卷积网络的参数；

(5)对实例分割模型进行再训练：以未标注数据集X_u作为对抗学习网络的输入，实例分割模型对输入图像进行掩码预测生成类别置信图，编码模块对类别置信图编码，编码后的数据经过判别卷积网络生成分割表现置信图，对分割表现置信图中置信度高于阈值T_semi的区域反馈到实例分割模型中，对实例分割模型进行再训练；T_semi为预设的判别阈值；

(6)将待分割的图像输入到步骤(5)训练后的实例分割模型，得到预测掩码即为分割结果。

2.根据权利要求1所述的基于逐步对抗学习的半监督图像实例分割方法，其特征在于，所述深度卷积生成对抗网络的生成器采用转置卷积网络。

3.根据权利要求1所述的基于逐步对抗学习的半监督图像实例分割方法，其特征在于，所述深度卷积生成对抗网络的损失函数为：

其中G表示生成器，D表示判别器，z表示生成器的输入噪声变量，p_data表示真实数据X_l∪X_u的分布，D(x)表示判别器的输出，G(z)表示生成器的输出，表示在真实数据上的数学期望，表示在噪声数据上的数学期望。

4.根据权利要求1所述的基于逐步对抗学习的半监督图像实例分割方法，其特征在于，所述判别卷积网络包括6个卷积层和一个转置卷积层，所述6个卷积层的通道数分别为64,128,128,256,256,512，且卷积核均为3x3。

5.根据权利要求1所述的基于逐步对抗学习的半监督图像实例分割方法，其特征在于，步骤(4)中编码模块对类别置信图和标注数据的掩码进行编码的步骤为：

获取类别置信图或标注数据的掩码所对应的原始图像；将原始图像RGB三通道数据分别与待编码的类别置信图或标注数据掩码的各个图层相同像素位置上的像素值相乘，得到3×(C+1)个通道的编码数据；C为不包括背景的总类别数。

6.根据权利要求1所述的基于逐步对抗学习的半监督图像实例分割方法，其特征在于，步骤(4)中对实例分割模型和判别卷积网络进行交替迭代训练的目标函数为：

其中λ是平衡两部分损失的系数，x_l表示标注数据，y_l表示标注的掩码真值，x_u表示未标注数据，p_data表示数据分布，(i,j)表示判别卷积网络输出的分割表现置信图的像素位置，S表示实例分割模型，D_CNN表示判别卷积网络，表示数学期望；

交替迭代训练过程中，训练实例分割模型的时候，保持判别卷积网络的参数不变；训练训练判别卷积网络的时候，保持实例分割模型的参数不变，如此交替迭代，实例分割模型和判别卷积网络都训练固定的步骤，直至收敛。

7.根据权利要求1所述的基于逐步对抗学习的半监督图像实例分割方法，其特征在于，步骤(5)中，对实例分割模型进行再训练的损失函数为：

其中I(·)表示指示函数，D_CNN表示判别卷积网络，S表示实例分割模型，x_u是未标注数据，c表示类别，(i,j)表示判别卷积网络输出的分割表现置信图的像素位置，T_semi为预设的分割表现优劣的判断阈值，采用one-hot编码，当c^*＝argmax_cS(x_u)^(i,j,c)时否则为0。