CN115187777A - 一种数据集制作困难下的图像语义分割方法 - Google Patents

Abstract

该发明公开了一种数据集制作困难下的图像语义分割方法，属于图像处理领域。本发明设计的ACGAN相比于现有的数据增广方法，比如翻转，旋转，平移，缩放等，不会破坏目标图像中的上下文信息，并且能够生成与真实场景极为相似的数据，用于语义分割网络训练时其他数据增广方法可能会使图像语义信息发生改变，但是本发明生成出来的样本由于与真实场景极其相似，不会丢失语义信息。本发明设计的AC‑Net相比于其他语义分割给方法，在卷积层设计了两路卷积，并且融合了多尺度特征信息，能够提取更丰富的特征信息，从而提升分割效果。

Description

一种数据集制作困难下的图像语义分割方法

技术领域

本技术涉及的是图像语义分割领域，特别是针对一些现实场景中数据集难以开采的一种图像语义分割方法。

背景技术

目前语义分割的场景对象虽然取材于实际场景，但是其复杂度和多变然而在一些实际特定的任务中，种种原因会导致数据集的收集难以实施，并且语义分割由于是像素级的分割，其标签需要对大量的密集像素进行标注，导致语义分割标签的标注的代价比较大，需要大量人力以及时间。所以本文旨在提出一种能够在数据集开采困难情况下依然能有效分割的方法。

针对数据集开采困难的问题，多采用数据增广的方法来扩增数据集，目前常用的数据增广方法包括几何变换的方法，常见有翻转，旋转，平移，缩放等；颜色变换的方法，常见有对比度，色彩扰动，噪声等。但是由于现实场景的复杂多变，这些数据增广方法扩增出来的数据不一定对网络的训练有效果，只有合理的数据增广方法增广出来的数据才有效果。因此针对不同的数据集往往需要选择合理的数据增广方式，比如在CIFAR-10上，水平翻转图像是一种有效的数据增强方法，但在MNIST上却不是，因为数字“6”经过水平翻转会变为“9”。而随着现实场景的复杂多变，现有的数据增广方法越来越无法适应实际需求。

发明内容

所以本文旨在提出一种能够在数据集开采困难情况下依然能有效分割的方法，目的通过数据增广的方法利用现有的数据集生成更多的有效数据，从而解决数据集开采制作困难的问题。设计一种条件生成对抗网络ACGAN，并且利用该条件生成对抗网络来扩增数据。设计一种语义分割网络来充当ACGAN的生成器结构，并且该生成器结构通过本发明设计的一种卷积层结构和双注意力机制构成。首先，使用多尺度拼接的思想对卷积层进行了多尺度拼接设计，然后，考虑到简单两个卷积级联可能不足以提取到足够的特征信息，本发明设计了两路的卷积结构来提取足够丰富的特征信息，同时将残差结构的思想也用到了卷积层的设计当中，从而设计了一个双路卷积结构，并利用该结构设计了新的语义分割网络结构，从而在网络结构和数据集两个方面来提升数据集开采困难情况下语义分割的效果。

本发明建立在条件生成对抗网络ACGAN以及语义分割模型AC-Net之上，通过有效的改进和提高分割模型，以及利用现有数据集生成更多的有效数据，实现高效的分割。本文提出的方法包括样本的预处理以及数据增广，语义分割网络整体结构设计，预测结果评价，模型测试四个部分。本发明提出了一种数据集制作困难下的图像语义分割方法，该方法包括：

步骤1：样本的预处理以及数据增广；如图3

步骤1.1：获取样本图像，并对样本图像进行分辨率归一化，然后将样本图像与其对应的语义标签可视化图像拼接为新图像；

步骤1.2：采用ACGAN模型对步骤1得到的新图像进行数据增广；

所述ACGAN模型包括：生成器和判别器，所述生成器一共有18层结构，包括编码部分和解码部分；所述编码部分包括：依次连接的第1层到第8层，其中第1层为双路卷积结构，双路卷积结构如图1所示，该结构包括3路，输入直接分为3路，其中2路结构相同，这两路依次经过2个3x3卷积层，并且第二个3x3卷积层的输入和输出拼接后作为该路的输出，另外的一路为一个1x1的卷积层，三路的输出共同融合后为该双路卷积结构的输出；第2层为核为2的最大池化结构，第1层与第2层组成了一组卷积池化结构，后续第3、4层，5、6层、7、8层同样为这种卷积池化结构；所述解码部分包括：依次连接的第9层到第18层，第9层结构为与第1层结构相同，第10层为上采样结构，通过双线性插值实现，第11、12层与第9层、10层结构对应相同，第13层与第1层结构相同；第14层是双注意力机制结构，该结构通过DANet中的位置注意力机制以及通道注意力机制组成，第15层是上采样结构，16层是双路卷积结构，17层是上采样结构，18层与第1层结构相同；并且，第1层的输出与第18层的输出拼接作为第18层的输出，第3层的输出与第16层的输出拼接作为第16层的输出，第5层的输出与第13层的输出拼接作为第13层的输出，第7层的输出与第11层的输出拼接作为第11层的输出；

数据输入生成器结构之后，会输出一个生成图像，该生成图像接下来进入判别器中；

所述判别器为全卷积结构，一共有5层结构，其中前三层是3个步长为2的4×4卷积，后面两层是2个步长为1的4×4卷积，生成器生成图像进入到判别器后输出一个标量值，范围在[0,1]之间，通过输入训练数据不断训练生成器以及判别器，最终判别器输出稳定在0.5时训练结束；此时，向训练好的生成器输入样本，就能生成一个新数据，该新数据为增广的样本；

步骤2：建立语义分割网络；如图2所示；该语义分割网络与步骤1中的生成器结构相同；但是训练过程与步骤1不同，步骤1中训练生成器时，输入的是语义标签，而在分语义分割网络训练中输入的是Cityscapes训练集原始图像，并且在步骤1中生成器的训练过程中还有判别器制约，步骤1中生成器生成的图像经过判别器制约后会不断生成接近真实图像的数据，而在这部分的语义分割网络中，没有判别器制约，所以该部分语义分割网络只会生成分割图片，具体表现在两者的损失函数上，步骤1中损失函数使用的是条件生成对抗网络的cGAN-Loss，语义分割网络损失函数为交叉熵损失函数CrossEntropyLoss；

步骤3：采用步骤1预处理好的数据训练步骤2得到的语义分割网络，采用训练好的语义分割网络进行实际的图像语义分割。

本发明设计了ACGAN对现实场景数据集采集制作困难提供了一种解决办法，同时本发明设计了一种新的语义分割网络AC-Net,相比于U-Net有更好的分割效果。

本发明设计的ACGAN相比于现有的数据增广方法，比如翻转，旋转，平移，缩放等，不会破坏目标图像中的上下文信息，并且能够生成与真实场景极为相似的数据，用于语义分割网络训练时其他数据增广方法可能会使图像语义信息发生改变，但是本发明生成出来的样本由于与真实场景极其相似，不会丢失语义信息。

本发明设计的AC-Net相比于其他语义分割给方法，在卷积层设计了两路卷积，并且融合了多尺度特征信息，能够提取更丰富的特征信息，从而提升分割效果。

附图说明

图1为双路卷积结构；

图2为语义分割网络AC-Net整体结构；

图3ACGAN的网络原理结构；

图4为整体系统流程图；

图5ACGAN增广出来的数据样例；

图6为语义分割结果可视化对比图。

具体实施方式

本文选取的数据集是城市街道场景数据集Cityscapes,Cityscapes数据集一共包括了法国，德国，瑞士中的50个不同城市的街道场景数据，该数据集一共提供了34种分类，但是一般情况下并不需要这么多种类别的分类，一般使用其中19个类别外加一个背景类。并且该数据集提供的数据有两种，一种是精细标注的数据，另外一种是粗标注的数据，其中，精细标注的数据集有5000个精细标注的样本，而粗标注则提供了5000个精细标注的样本以及20000个粗标注的样本。实验当中只用了精细标注的数据集，其中5000个精细标注样本有2975个是训练集，500个事验证集，1525个是测试集。

常规的一些数据增广方法包括图像裁剪、缩放、翻转、移位、亮度调整和加噪声等等，但是这些常规的方法在一些现实场景下并不有效，所以本文设计了一种条件生成对抗网络模型ACGAN,首先对Cityscapes数据集中的训练集数据进行预处理，通过尺寸重塑将分辨率统一重塑为1024×512,然后将训练集数据与其对应的语义标签可视化图像两张图片以左右拼接的方式处理成为一张分辨率为2048×512的新图像,将处理好后的数据集输入到ACGAN模型，生成更多的样本数据。

1.语义分割网络整体结构

在得到预处理生成的新样本数据之后，将生成的新样本数据以及原始样本数据输入到语义分割网络模型当中。语义分割网络整体的结构包括卷积层结构设计，编码部分以及解码部分，注意力机制模块，跳跃连接五个部分。

1.1卷积层结构

U-Net卷积层结构通过两个相连的3×3卷积来提取特征信息，但是仅仅通过这样的简单卷积设计，卷积层提取的特征信息往往比较有限，所以本文考虑通过设置多个这样的3×3卷积组合分别来提取图像里面的特征信息，然后将提取到的特征信息融合来提高语义分割网络的分割效果，同时考虑到上文分析的残差结构以及多尺度特征拼接的优势之处，将这些技术也运用到卷积层设计当中，提出了一个双路卷积结构。

该双路卷积结构中运用了残差结构，以及多尺度特征拼接技术，同时为了在卷积层能够提取到更多更丰富的特征信息，设计了多路卷积结构，在最后进行特征融合来使网络获得更加丰富的特征信息。输入首先会分别进入到该双路卷积结构中的左右两边的卷积结构当中，并且两边的卷积结构都使用了特征拼接来获取多尺度特征信息，然后参考了残差结构，中间部分输入会通过一个1x1的卷积，并在最后与左右两边的特征响应图进行特征融合。

1.2编码部分

编码部分主要起到特征提取以及特征压缩的作用，主要包括5个本文提出的双路卷积结构以及4个最大池化max pooling。每一个双路卷积结构后面接的是核为2的最大池化下采样。

1.3解码部分

解码部分主要起到特征重构的作用，本文在解码部分还另外设计了一个注意力机制模块，该注意力机制模块通过捕捉像素之间的依赖关系以及通道之间的依赖关系来提升网络的分割效果。解码部分主要设计了4个上采样模块，4个本文提出的双路卷积结构，以及注意力机制模块。解码部分上采样采用的是双线性插值，每一次上采样之后是双路卷积结构，但是此时的输入因为有跳跃连接存在，会有两部分输入。

1.4注意力机制模块

本文引入了一种双重注意力机制的模块，该模块是DANet中提出的一种注意力机制模块，包含两个子模块，一个是位置注意力模块，一个是通道注意力模块。位置注意力模块从分利用了上下文信息，通过建立特征图中任意两个位置之间的依赖关系，然后通过加权求和对所有位置特征进行了更新。通道注意力机制通过捕获通道之间的依赖关系，使用所有通道的加权求和获得通道的权重之后，更新每一个通道特征图，从而来提高语义特征的表示。

1.5跳跃连接

本文采用了跳跃连接的方式融合了编解码部分的特征信息。随着网络的不断加深，在经过大量卷积池化的过程当中往往会丢失一些特征信息，影响到了最终分割效果，而跳跃连接将浅层编码部分的信息与深层解码部分的语义信息融合，网络就能够重新学习到之前丢失的一些细节信息，从而提升了语义分割网络的分割效果。

2.预测结果评价

语义分割算法主要有三大评价指标,分别是准确度，内存占用以及时间复杂度。其中用来评价语义分割模型的分割效果的指标，就是准确度，常用的准确的指标有像素准确度(PA,Pixel Accuracy),平均像素准确度(MPA,Mean Pixel Accuracy),平均交并比(MIoU,Mean Intersection over Union)，权频交并比(FWIoU,Frequency WeightedIntersectionover Union)。为了方便理解以及合理地评判语义分割网络模型的分割效果，本文选取了两个评价指标来评价最后的分割效果，一个是PA，另一个是FWIoU。

3.模型测试

首先通过改进的Pix2pix生成出来的新数据以及原始数据来训练本文提出的语义分割网络模型，对于训练好的模型，需要通过实际的测试来判断该模型是否具有相应的价值，因此需要进行模型测试。测试所采用的数据集是Cityscapes提供的测试数据。

图4为整体流程图，通过该流程图来具体说明本发明的技术方案。

1)由于本发明设计ACGAN方法需要输入成对的图片，并且原始数据集分辨率过大，因此将Cityscapes数据集中的训练集数据进行预处理，通过尺寸重塑将分辨率统一重塑为1024×512,然后将训练集数据与其对应的语义标签可视化图像两张图片以左右拼接的方式处理成为一张分辨率为2048×512的新图像。

2)将处理好的原始数据集的训练集数据输入到本发明设计的改进的Pix2pix网络，从而增广出来一个新的数据集。

3)将增广出来的新数据集以及原始数据集进行整合，获得整合后的新数据集。

4)使用原始数据集中的训练集数据分别输入到U-Net网络以及本发明设计的语义分割网络当中，同时将增广整合后获得的新数据集分别输入到U-Net网络以及本发明设计的语义分割网络AC-Net当中，获得训练好的语义分割网络模型之后，在使用原始数据中的测试集数据分别对这4个网络模型的分割效果进行测试。

5)最后实验结果的对比分析，本实验采用的评价指标包含了像素准确度PA以及权频交并比FWIoU，通过测试获得训练好的U-Net网络和本发明设计的语义分割网络的PA以及FWIoU，两者实验结果对比分析可证明本发明的语义分割网络的优越性。同时，使用原始数据集以及本发明方法增广整合出来的新数据集分别训练网络，将测试结果进行对比分析，可以验证本发明在针对数据集采集制作困难的情况下，通过本发明的方法依然能准确有效地将目标进行分割。

本发明通过分析经典语义分割网络模型U-Net的原理以及优缺点，以及残差网络中残差结构的优点，语义分割当中常用的多尺度特征拼接技术。然后，考虑到简单两个卷积级联可能不足以提取到足够的特征信息，本文设计了双路卷积结构来提取足够丰富的特征信息，同时将残差结构的思想以及多尺度特征拼接技术也用到了卷积层的设计当中，从而设计了一个双路卷积结构，并利用该双路卷积结构设计了新的语义分割网络结构AC-Net。之后，本文从注意力机制的角度出发，引入了DANet当中一种双注意力机制模块，从通道注意力以及位置注意力两个方面一起来改善分割效果。最后，为了验证本文提出的语义分割网络结构的有效性，，在Cityscapes数据集上与U-Net网络做对比实验，最终相比于U-Net在PA上提升了1.99％，在FWIoU上提升了2.09％。

并且本发明针对现实场景中数据集开采困难的难题，设计了ACGAN方法对数据集进行了数据增广，使用增广出来的数据以及原始样本数据训练网络后，与只使用原始数据进行对比试验，FWIoU上提升了0.27％。因此，本文所提出的方法能够在数据集不足的情况下依然取得不错的分割效果,在图像语义分割领域有广泛的前景。

Claims (1)

1.一种数据集制作困难下的图像语义分割方法，该方法包括：

步骤1：样本的预处理以及数据增广；

步骤1.1：获取样本图像，并对样本图像进行分辨率归一化，然后将样本图像与其对应的语义标签可视化图像拼接为新图像；

步骤1.2：采用ACGAN模型对步骤1得到的新图像进行数据增广；

所述ACGAN模型包括：生成器和判别器，所述生成器一共有18层结构，包括编码部分和解码部分；所述编码部分包括：依次连接的第1层到第8层，其中第1层为双路卷积结构，该结构包括3路，输入直接分为3路，其中2路结构相同，这两路依次经过2个3x3卷积层，并且第二个3x3卷积层的输入和输出拼接后作为该路的输出，另外的一路为一个1x1的卷积层，三路的输出共同融合后为该双路卷积结构的输出；第2层为核为2的最大池化结构，第1层与第2层组成了一组卷积池化结构，后续第3、4层，5、6层、7、8层同样为这种卷积池化结构；所述解码部分包括：依次连接的第9层到第18层，第9层结构为与第1层结构相同，第10层为上采样结构，通过双线性插值实现，第11、12层与第9层、10层结构对应相同，第13层与第1层结构相同；第14层是双注意力机制结构，该结构通过DANet中的位置注意力机制以及通道注意力机制组成，第15层是上采样结构，16层是双路卷积结构，17层是上采样结构，18层与第1层结构相同；并且，第1层的输出与第18层的输出拼接作为第18层的输出，第3层的输出与第16层的输出拼接作为第16层的输出，第5层的输出与第13层的输出拼接作为第13层的输出，第7层的输出与第11层的输出拼接作为第11层的输出；

数据输入生成器结构之后，会输出一个生成图像，该生成图像接下来进入判别器中；

所述判别器为全卷积结构，一共有5层结构，其中前三层是3个步长为2的4×4卷积，后面两层是2个步长为1的4×4卷积，生成器生成图像进入到判别器后输出一个标量值，范围在[0,1]之间，通过输入训练数据不断训练生成器以及判别器，最终判别器输出稳定在0.5时训练结束；此时，向训练好的生成器输入样本，就能生成一个新数据，该新数据为增广的样本；

步骤2：建立语义分割网络；该语义分割网络与步骤1中的生成器结构相同；但是训练过程与步骤1不同，步骤1中训练生成器时，输入的是语义标签，而在分语义分割网络训练中输入的是Cityscapes训练集原始图像，步骤1中损失函数使用的是条件生成对抗网络的cGAN-Loss，语义分割网络损失函数为交叉熵损失函数CrossEntropyLoss；

步骤3：采用步骤1预处理好的数据训练步骤2得到的语义分割网络，采用训练好的语义分割网络进行实际的图像语义分割。

Images