CN109086770A - 一种基于精准尺度预测的图像语义分割方法及模型 - Google Patents

Abstract

本发明提供了一种基于精准尺度预测的图像语义分割方法及模型，对于原始图像，用深度卷积网络编码基础特征图；基础特征图上每个点编码了原始图像上以该点为中心的一个区域的语义及外观特征；将编码得到的基础特征图划分为K×K个区域，采用卷积层；根据预设的S个候选尺度，针对每个区域，利用卷积层及softmax归一化，预测每个区域属于每个预设尺度的概率，即尺度置信度Ps；根据设定的对象类别，在划分的K×K个区域中，利用卷积层及softmax归一化，预测每个区域属于每个对象类别的类别置信度Pc；基于预测的尺度置信度Ps，对各个区域进行语义分割。提高了尺度预测的精准性。并在精准的尺度预测结果上进行图像语义分割，提高了分割精度。

Description

一种基于精准尺度预测的图像语义分割方法及模型

技术领域

本发明涉及一种基于精准尺度预测的图像语义分割方法及模型，涉及计算机视觉、图像语义分割、机器学习、神经网络领域。

背景技术

近年来，基于深度卷积网络的图像语义分割方法已经成为解决图像分割问题最有力的武器。研究者们利用深度卷积网络编码各个对象的特征，基于编码的特征对各个对象进行分割及分类。该方式面临的主要问题是：图像中各个对象尺寸差异很大，该方式采用同一尺寸的卷积核对尺寸不一的对象进行编码，容易产生编码错误，进而导致分类错误、过分割、欠分割等现象。

目前解决这一问题的技术主要有两类：基于多尺度融合的图像语义分割方法和基于弱监督尺度预测的图像语义分割方法。基于多尺度融合的图像语义分割方法将图像采样为不同尺度，然后用同一深度卷积网络在不同尺度的采样上编码特征，最后将多个尺度上得到的特征进行平均，以应对不同大小的对象。该方法仅仅简单的求取多尺度平均，并不能针对不同大小对象选择最适宜的图像分割尺度。不适宜的尺度上的结果将作为噪声干扰最终的分割结果。基于弱监督尺度预测的图像语义分割方法能够学习并预测每个对象适宜的分割尺度，进而在分割时为每个对象选取分割尺度。然而，由于缺乏尺度标签，这种方式只能采取弱监督的方式进行尺度学习，并不能保证学习到的尺度的精准性。不精准的尺度也会对最终分割结果造成影响。

发明内容

本发明提供了一种基于精准尺度预测的图像语义分割方法，具有分割精度更高的特点。

本发明还提供了一种基于精准尺度预测的图像语义分割模型，用于实现图像语义分割方法，具有能够是分割精度更高的特点。

根据本发明提供的一种基于精准尺度预测的图像语义分割方法，

对于原始图像I，用深度卷积网络编码基础特征图F；基础特征图F上每个点编码了原始图像上以该点为中心的一个区域的语义及外观特征；将编码得到的基础特征图F划分为K×K个区域，采用卷积层；

根据预设的S个候选尺度，针对每个区域，利用卷积层及softmax归一化，预测每个区域属于每个预设尺度的概率，即尺度置信度Ps；其中，s=1…S；

根据设定的对象类别，在划分的K×K个区域中，利用卷积层及softmax归一化，预测每个区域属于每个对象类别的类别置信度Pc；其中，c=1…C，C为对象类别数；

基于预测的尺度置信度Ps，采用软加权方式对各个区域进行语义分割。

采用软加权方式对各个区域进行语义分割的具体方法包括：

对基础特征图F采样得到几个预设的候选尺度；然后，分别用卷积层及softmax归一化进行语义分割，得到不同候选尺度上的分割结果 Ms；其中，s=1…S；最后对于每个区域，利用预测的尺度置信度Ps作为权重，对对应候选尺度上的分割结果进行加权平均，得到基于尺度的语义分割结果Mscale。

采用软加权方式对各个区域进行语义分割的具体方法还包括：将不同候选尺度上的分割结果采用到同一尺度后，再利用预测的尺度置信度Ps作为权重，对对应候选尺度上的分割结果进行加权平均。

所述方法还包括，将类别置信度Pc乘以基于尺度的语义分割结果Mscale实现分割结果的修正，并将乘积与语义分割结果Mscale相加得到修正后的最终的语义分割结果M。

所述K等于6。

根据本发明提供的一种基于精准尺度预测的图像语义分割模型，用于实现上述图像语义分割方法，其特征在于，对区域尺度、区域对象类别和语义分割三个预测目标进行学习和训练，对每个目标分别计算交叉熵损失，进行强监督学习；整体模型的损失由三个预测目标的损失相加而成，进行联合学习。

所述图像语义分割模型中的区域尺度标签从语义分割标签中提取，具体提取方法包括：预设大、中、小3个尺度；若一个区域包含小对象或复杂的边界，则须选用大分割尺度；若一个区域仅包含一个对象，则须选用小分割尺度；若以上两种情况皆非，则选用中分割尺度。

所述对象的对象大小采用统计像素个数在整个区域中的占比获得，也可以采用其他方法获得。

对象边界用计算梯度方法获得，并计算边界像素点个数在在整个区域中的占比。

与现有技术相比，本发明的有益效果是：预测对象的分割尺度，并且加入对象的类别信息来辅助尺度学习与预测，提高尺度预测的精准性。并在精准的尺度预测结果上进行图像语义分割，提高了分割精度。适用于任何图像语义分割过程，在不同的平台具有很好的扩展性。

附图说明

图1为本发明其中一实施例的原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，一种基于精准尺度预测的图像语义分割方法，

对于原始图像I，用深度卷积网络编码基础特征图F；基础特征图F上每个点编码了原始图像上以该点为中心的一个区域的语义及外观特征；将编码得到的基础特征图F划分为K×K个区域，采用卷积层；

根据预设的S个候选尺度，针对每个区域，利用卷积层及softmax归一化，预测每个区域属于每个预设尺度的概率，即尺度置信度Ps；其中，s=1…S；

根据设定的对象类别，在划分的K×K个区域中，利用卷积层及softmax归一化，预测每个区域属于每个对象类别的类别置信度Pc；其中，c=1…C，C为对象类别数；

基于预测的尺度置信度Ps，采用软加权方式对各个区域进行语义分割。

本发明方案讲尺度预测问题建模为分类问题，即预设S个候选尺度，预测对象的分割尺度，针对每个对象区域，判断其应属于几个预设尺度红的哪一个，并且加入对象的类别信息来辅助尺度学习与预测，提高尺度预测的精准性。并在精准的尺度预测结果上进行图像语义分割，提高了分割精度。

由于每个区域可能包含多个对象类别，故此处将对象类别预测问题建模为多个二分类问题。即独立地判断属于或不属于某个对象类别。

作为本发明的一种实施方案，采用软加权方式对各个区域进行语义分割的具体方法包括：

对基础特征图F采样得到几个预设的候选尺度；然后，分别用卷积层及softmax归一化进行语义分割，得到不同候选尺度上的分割结果 Ms；其中，s=1…S；最后对于每个区域，利用预测的尺度置信度Ps作为权重，对对应候选尺度上的分割结果进行加权平均，得到基于尺度的语义分割结果Mscale。

作为本发明的一种实施方案，采用软加权方式对各个区域进行语义分割的具体方法还包括：将不同候选尺度上的分割结果采用到同一尺度后，再利用预测的尺度置信度Ps作为权重，对对应候选尺度上的分割结果进行加权平均。如此，更便于计算。

作为本发明的一种实施方案，所述方法还包括，将类别置信度Pc乘以基于尺度的语义分割结果Mscale实现分割结果的修正，并将乘积与语义分割结果Mscale相加得到修正后的最终的语义分割结果M。

对于划分的区域，K越大，对象区域划分越精细，但计算量也越大；反之，K越小，计算量越小，但对对象区域划分越粗糙。作为本发明的一个实施例，为了平衡精细程度和计算量，设定K=6。

一种基于精准尺度预测的图像语义分割模型，用于实现上述图像语义分割方法，对区域尺度、区域对象类别和语义分割三个预测目标进行学习和训练，对每个目标分别计算交叉熵损失，进行强监督学习，提升精度；整体模型的损失由三个预测目标的损失相加而成，进行联合学习。通过这种联合的强监督学习，区域尺度、区域对象类别和语义分割可以在学习过程中相互辅助，进一步提升每个目标的精度，也达到更精准预测尺度的目的。

基于该模型，能够输入原始图像I，根据上述分割方法进行图像语义分割。

由于区域尺度缺乏标签，作为一种实施方式，所述图像语义分割模型中的区域尺度标签从语义分割标签中提取，具体提取方法包括：预设大、中、小3个尺度（即S=3）；若一个区域包含小对象或复杂的边界，则须选用大分割尺度；若一个区域仅包含一个对象，则须选用小分割尺度；若以上两种情况皆非，则选用中分割尺度。从而可以将尺度标注问题转化为提取对象大小和边界问题。

作为本发明的一种实施方式，所述对象的对象大小可以采用统计像素个数在整个区域中的占比获得，也可以采用其他方法获得。

作为本发明的一种实施方式，对象边界可以用计算梯度方法获得，并计算边界像素点个数在在整个区域中的占比，也可采用其他方法获得。从而计算出尺度标签。

对于模型的形成，下面以一个具体的实施例进一步说明。

提取标签，确定图像语义分割数据集，如NYU Depth v2数据集、 Pascal VOC数据集等。语义分割数据集一般分为训练集和测试集，用训练集上的图像和语义分割标签训练模型，测试集用于验证模型效果。首先基于训练集上的语义分割标签，提取区域对象类别标签及尺度标签。

将语义分割标签划分为K×K个区域， K设置为6。

统计每个区域出现的对象类别，作为区域对象类别标签。出现了的类别标为1，没出现的标为0。

预设S个尺度标签，S设置为3，即大、中、小三个尺度，分别用1，2，3三个数字标记。基于语义分割标签，统计每个区域中每类对象的面积大小占整个区域面积的比例以及区域中边界像素比例。如果某类对象占整个区域面积的100%，说明该区域只包含一个对象，标记为小尺度3；如果某类对象占整个区域面积大于0小于10%，或该区域边界占整个区域面积的10%以上，则标记为大尺度1；如果不属于以上两种情况，则标为中尺度2

搭建模型，依次搭建基础特征编码、尺度与对象类别预测、基于尺度的语义分割以及基于对象类别的语义分割修正模块。其中基础特征编码可采用已有的深度卷积网络，如ResNet、VGG等。

训练模型，在尺度预测置信度、对象类别预测置信度和语义分割结果后分别添加交叉熵损失函数，利用提取的标签训练模型。基础特征编码模块参数采用ImageNet数据集上预训练的参数进行初始化，学习率设为0.00025；其他模块随机初始化，学习率设为0.0025。训练20个epoch。

测试模型，当模型训练好后，将测试集图片输入模型，获取图像语义结果。

在模型形成过程中，在图像语义分割中，首先预测每个对象区域适宜的分割尺度。通过强监督的学习方式及对象类别信息的辅助确保分割尺度预测的准确性。然后在预测尺度上分割对象，从而针对不同大小的对象取得更加的分割结果。并且利用对象类别信息进一步修正语义分割结果。从而使该模型地语义分割精度比传统方法有所提升。

Claims (9)

1.一种基于精准尺度预测的图像语义分割方法，

对于原始图像I，用深度卷积网络编码基础特征图F；基础特征图F上每个点编码了原始图像上以该点为中心的一个区域的语义及外观特征；将编码得到的基础特征图F划分为K×K个区域，采用卷积层；

根据预设的S个候选尺度，针对每个区域，利用卷积层及softmax归一化，预测每个区域属于每个预设尺度的概率，即尺度置信度Ps；其中，s=1…S；

根据设定的对象类别，在划分的K×K个区域中，利用卷积层及softmax归一化，预测每个区域属于每个对象类别的类别置信度Pc；其中，c=1…C，C为对象类别数；

基于预测的尺度置信度Ps，采用软加权方式对各个区域进行语义分割。

2.根据权利要求1所述的图像语义分割方法，采用软加权方式对各个区域进行语义分割的具体方法包括：

对基础特征图F采样得到几个预设的候选尺度；然后，分别用卷积层及softmax归一化进行语义分割，得到不同候选尺度上的分割结果 Ms；其中，s=1…S；最后对于每个区域，利用预测的尺度置信度Ps作为权重，对对应候选尺度上的分割结果进行加权平均，得到基于尺度的语义分割结果Mscale。

3.根据权利要求2所述的图像语义分割方法，采用软加权方式对各个区域进行语义分割的具体方法还包括：将不同候选尺度上的分割结果采用到同一尺度后，再利用预测的尺度置信度Ps作为权重，对对应候选尺度上的分割结果进行加权平均。

4.根据权利要求2或3之一所述的图像语义分割方法，所述方法还包括，将类别置信度Pc乘以基于尺度的语义分割结果Mscale实现分割结果的修正，并将乘积与语义分割结果Mscale相加得到修正后的最终的语义分割结果M。

5.根据权利要求4所述的图像语义分割方法，所述K等于6。

6.一种基于精准尺度预测的图像语义分割模型，用于实现上述图像语义分割方法，其特征在于，对区域尺度、区域对象类别和语义分割三个预测目标进行学习和训练，对每个目标分别计算交叉熵损失，进行强监督学习；整体模型的损失由三个预测目标的损失相加而成，进行联合学习。

7.根据权利要求6所述的图像语义分割模型，所述图像语义分割模型中的区域尺度标签从语义分割标签中提取，具体提取方法包括：预设大、中、小3个尺度；若一个区域包含小对象或复杂的边界，则须选用大分割尺度；若一个区域仅包含一个对象，则须选用小分割尺度；若以上两种情况皆非，则选用中分割尺度。

8.根据权利要求7所述的图像语义分割模型，所述对象的对象大小采用统计像素个数在整个区域中的占比获得，也可以采用其他方法获得。

9.根据权利要求7或8所述的图像语义分割模型，对象边界用计算梯度方法获得，并计算边界像素点个数在在整个区域中的占比。