CN115690410A - 一种基于特征聚类的语义分割方法及系统 - Google Patents

Abstract

本发明提出一种基于特征聚类的语义分割方法和系统，包括：语义分割模型中的特征提取层提取训练图像的深层语义特征和浅层细节特征，语义分割模型中第一卷积分类器为深层语义特征进行分类，得到训练图像中各像素的第一分类结果，归一化第一分类结果，得到每个像素属于类别的概率，点积概率和深层语义特征，得到每个类别的类特征；融合深层语义特征和浅层细节特征，得到像素级别特征；根据像素级别特征，取训练图像中各像素到每个类特征的相似度最大对应的类别作为第二分类结果；语义分割模型中第二卷积分类器为像素级别特征进行分类，得到训练图像中像素的第三分类结果；根据类别标签和各分类结果，训练语义分割模型，以为指定图片进行语义分割。

Description

一种基于特征聚类的语义分割方法及系统

技术领域

本发明涉及计算机视觉中平面图像语义分割技术领域，并特别涉及一种基于特征聚类的语义分割方法及系统。

背景技术

语义分割是对图像中的每一个像素进行分类。语义分割需要长范围的上下文信息，而单层卷积的感受野是有限的，因此往往在骨干网络后通过上下文模块来提取上下文信息，进而将增强后的特征通过卷积分类器实现像素分类，目前常用空间上下文和语义上下文这两种上下文信息。

现有方案1，空间上下文。空间上下文是指利用不同位置不同尺度的上下文对骨干网络(卷积网络)提取的特征进行增强。常见的空间上下文网络如图1所示：输入的图像首先通过骨干网络进行特征提取，然后使用多个不同大小的池化层提取不同尺度的特征，最后将增强后的特征通过卷积分类器得到语义分割的结果。

现有方案2，语义上下文。语义上下文是指利用与像素相同语义的像素/区域特征对骨干网络提取的特征进行增强的方式。常见的语义上下文如图2所示。对骨干网络提取的特征，分别计算不同位置、不同通道像素特征的相似度，并基于相似度对其他位置特征进行加权得到增强后的特征，最后通过一个卷积分类器得到语义分割的结果。

上述现有技术主要存在两个问题：

1)上述方法中上下文模块直接作用在骨干网络提取的特征上，缺少有效的监督，容易引入无关的上下文信息，导致特征混淆；

2)上述方法是将增强后的特征直接通过卷积分类器得到语义分割的结果，分类器没有考虑像素的上下文关系。

发明内容

本发明的目的是解决上下文模块可能导致特征混淆，且分类阶段没有考虑上下文关系的问题，提出了一种基于特征聚类的语义分割方法，包括：

步骤1、获取已标注类别标签的训练图像，语义分割模型中的特征提取层提取该训练图像的深层语义特征和浅层细节特征，语义分割模型中的第一卷积分类器为该深层语义特征进行分类，得到该训练图像中各像素的第一分类结果，将该第一分类结果进行归一化，得到对于各语义类别，每个像素属于该类别的概率，将该概率和该深层语义特征进行点积，得到每个类别的类特征；

步骤2、融合该深层语义特征和该浅层细节特征，得到像素级别特征；根据该像素级别特征，计算该训练图像中各像素到每个该类特征的相似度，取最大相似度对应的类别作为当前像素的第二分类结果；语义分割模型中的第二卷积分类器为该像素级别特征进行分类，得到该训练图像中像素的第三分类结果；

步骤3、根据该训练图像的类别标签和该第一分类结果、该第二分类结果、第三分类结果，构建损失函数，训练该语义分割模型，并以训练完成后的语义分割模型为指定图片进行语义分割。

所述的基于特征聚类的语义分割方法，该特征提取层包括串联的骨干网络和上下文模块，该上下文模块用于将该骨干网络输出的网络深层特征进行增强，得到该深层语义特征。

所述的基于特征聚类的语义分割方法，该步骤1包括：

通过下式对该深层语义特征进行预分割：

r＝S(f_h)

其中f_h代表深层语义特征，r代表该第一分类结果，S为该第一卷积分类器；进而该第一分类结果通过softmax进行归一化，得到每个像素属于各类别的概率：

其中k代表类别，i代表像素；

将深层语义特征f_h和概率m_ik进行点积，得到每一类的类特征f_k：

该步骤2包括：

通过下式将该深层语义特征和该浅层细节特征融合，从而构建了高分辨率的该像素级别特征：

f_p＝C_R(concat(C_R(f_l)，upsample(C_R(f_h)))

其中f_p代表最终的像素特征，f_h，f_l分别代表深层语义特征和浅层特征，C_R代表上采样卷积；

通过下式得到该相似度：

class_i＝argmax_j(p_i1，p_i2，…p_ij，...，p_iK)

其中p_ik代表像素i和第k类的相似度，class_i代表像素i的该第二分类结果。

所述的基于特征聚类的语义分割方法，该损失函数包括聚类中心损失、特征一致性损失、预分割损失和正则化损失；

聚类中心损失：

特征一致性损失：

预分割损失：

正则化损失：

最终的损失函数：

本发明还提出了一种基于特征聚类的语义分割系统，其中包括：

特征提取模块，用于获取已标注类别标签的训练图像，语义分割模型中的特征提取层提取该训练图像的深层语义特征和浅层细节特征，语义分割模型中的第一卷积分类器为该深层语义特征进行分类，得到该训练图像中各像素的第一分类结果，将该第一分类结果进行归一化，得到对于各语义类别，每个像素属于该类别的概率，将该概率和该深层语义特征进行点积，得到每个类别的类特征；

特征融合模块，用于融合该深层语义特征和该浅层细节特征，得到像素级别特征；根据该像素级别特征，计算该训练图像中各像素到每个该类特征的相似度，取最大相似度对应的类别作为当前像素的第二分类结果；语义分割模型中的第二卷积分类器为该像素级别特征进行分类，得到该训练图像中像素的第三分类结果；

模型训练模块，用于根据该训练图像的类别标签和该第一分类结果、该第二分类结果、第三分类结果，构建损失函数，训练该语义分割模型，并以训练完成后的语义分割模型为指定图片进行语义分割。

所述的基于特征聚类的语义分割系统，其中该特征提取层包括串联的骨干网络和上下文模块，该上下文模块用于将该骨干网络输出的网络深层特征进行增强，得到该深层语义特征。

所述的基于特征聚类的语义分割系统，其中该特征提取模块用于：

通过下式对该深层语义特征进行预分割：

r＝S(f_h)

其中f_h代表深层语义特征，r代表该第一分类结果，S为该第一卷积分类器；进而该第一分类结果通过softmax进行归一化，得到每个像素属于各类别的概率：

其中k代表类别，i代表像素；

将深层语义特征f_h和概率m_ik进行点积，得到每一类的类特征f_k：

该特征融合模块用于：

通过下式将该深层语义特征和该浅层细节特征融合，从而构建了高分辨率的该像素级别特征：

f_p＝C_R(concat(C_R(f_l)，upsample(C_R(f_h)))

其中f_p代表最终的像素特征，f_h，f_l分别代表深层语义特征和浅层特征，C_R代表上采样卷积；

通过下式得到该相似度：

class_i＝argmax_j(p_i1，p_i2，...p_ij，...，p_iK)

其中p_ik代表像素i和第k类的相似度，class_i代表像素i的该第二分类结果。

所述的基于特征聚类的语义分割系统，其中该损失函数包括聚类中心损失、特征一致性损失、预分割损失和正则化损失；

聚类中心损失：

特征一致性损失：

预分割损失：

正则化损失：

最终的损失函数：

本发明还提出了一种存储介质，用于存储执行所述任意一种基于特征聚类的语义分割方法的程序。

本发明还提出了一种客户端，用于所述的任意一种基于特征聚类的语义分割系统。

由以上方案可知，本发明的优点在于：

1、本发明形成了更加紧凑的遥感图像特征空间，降低了语义分割的难度；如图3所示，将不同方法相同位置提取的特征进行了可视化，左边是基线方法PSPNet，右边是本发明的结果，其中同种灰度的代表同一语义类别的特征，从中可以看出，相较于基线方法，本发明提取到的同类像素特征更为紧凑，不同类像素特征更为分散，这极大的降低了语义分割的难度；

2、本发明定量实验上显著提高了语义分割的准确性；

对比实验：图4中第一行为基线方法，第二行为本发明，本发明是将基线方法中的卷积分类器替换为提出的特征聚类方法并进行监督，实验结果展示，本发明在参数量和计算量与基线方法接近的情况下，显著地提高了mIoU和mean-F1的性能。

损失函数实验：基线方法直接使用交叉熵对卷积分类器分割的结果进行监督，分割的准确度mIoU为60.2％。在此基础上，引入了本发明的有监督聚类框架，计算像素特征到类特征的距离得到了最终的分割结果，并通过聚类中心损失和预分割损失进行监督。将分割准确度从60.2％提高到62.1％，进而引入正则化损失将像素特征映射到适合于分类的特征空间中，将分割的准确性提高到了63.0％。最后特征一致性损失通过对比特征空间中像素特征，类特征的相似度，形成了更加紧凑的遥感图像特征空间，从而将分割的准确度进一步提高到了63.3％。该实验充分证明了本发明监督函数中各个损失的重要性

3.如图5所示本发明提高了语义分割的可视化结果，从中可以看出相较于基线方案，该发明有效地提高了小物体，操场等难分语义类别分割的准确性。

综上所述本发明与现有技术计算量和参数量接近的情况下，显著提高了语义分割的性能。

附图说明

图1为空间上下文网络结构示意图；

图2为语义上下文网络结构示意图；

图3为遥感图像特征空间对比图；

图4和图5均为语义分割的准确性效果对比图；

图6为语义分割的可视化结果对比图；

图7为本发明总体结构图。

具体实施方式

发明人在进行语义分割研究时，发现现有方法上下文模块提取的特征可能混淆，这是由于其缺少有效监督；另外网络分类器模块在进行像素分类时没有考虑到上下文关系，解决该缺陷可以通过将语义分割建模为特征聚类方法来解决，提出了特征聚类网络和针对聚类网络的损失函数。该方法在分类器时考虑到了上下文的特征，同时使用真实的语义分割标签对其进行监督。具体来说本发明包括如下关键技术点：

关键点1，本发明将语义分割建模为特征聚类问题，提出了特征聚类的网络结构，在分类时考虑上下文关系，有效地降低了像素分类的难度；

关键点2，本发明提出了针对聚类网络的损失函数，包括聚类中心损失，特征一致性损失等，形成了更为紧凑的特征空间。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

本发明总体结构如图7所示，包括特征聚类网络结构和特征聚类损失函数。在本发明中需要训练的模块包括一个骨干网络、一个上下文模块和两个卷积分类模块，即本发明语义分割模型由上述4个模块构成。

特征聚类网络结构：包括特征提取模块和有监督聚类模块。网络通过特征提取模块从输入的图像中提取图像特征，进而通过特征聚类来实现像素的分类。特征聚类步骤如下：

1)构建类特征

由于深层网络(图7中骨干网络和上下文模块)提取的特征具有更为丰富的语义信息，包含更少的噪音，因此本发明使用该特征为每一个语义类别构建鲁棒的特征。首先将深层语义特征通过若干层卷积进行像素分类，并使用真实的语义分割标签进行监督，从而得到每个像素属于某类的概率。进而将像素概率和深层语义特征进行点积，得到了每个类的特征。用公式表达上述过程，首先对深层语义特征进行预分割：

r＝S(f_h)

其中f_h代表深层语义特征，r代表粗分割结果，S为卷积分类器。

进而将粗分割的结果通过softmax进行归一化，得到对于某个语义类别，每个像素属于该类别的概率：

其中k代表类别，i代表像素，式中HW分别为输入图片的长宽。

最后，将深层语义特征f_h和像素属于某个类别的概率m_ik进行点积，构建了每一类的特征：

2)构建像素特征

语义分割是一个逐像素的任务，为了得到高分辨率的预测结果，需要更多的图像细节特征。因此本发明将深层语义特征和浅层细节特征融合，从而构建了高分辨率的像素级别特征。用公式表达为：

f_p＝C_R(concat(C_R(f_l)，upsample(C_R(f_h)))

其中f_p代表最终的像素特征，f_h，f_l分别代表深层语义特征和浅层特征，C_R代表上采样1x1卷积。

3)像素分类

本发明通过计算像素特征和类特征的距离得到像素类别并进行监督，从而将同一类像素在特征空间聚集在一起。即在构建了有效的像素特征和类的特征后，紧接着计算像素到每个语义类别特征的余弦相似度，相似度最大的作为该像素的语义类别。用公式表达为:

class_i＝argmax_j(p_i1，p_i2，...p_ij，...，p_iK)

其中p_ik代表像素i和第k类的特征相似度。class_i代表像素i的语义类别。

特征聚类损失函数：为了对特征聚类网络进行准确有效的监督，本发明提出了针对聚类网络的损失函数。该损失函数包括聚类中心损失，特征一致性损失，预分割损失和正则化损失四部分。

聚类中心损失：对于聚类问题，首先需要拉近像素特征和聚类中心的距离，因此本发明通过交叉熵函数对像素特征和类特征相似度进行监督，由于交叉熵函数中的softmax函数具有凸显其中最大值并抑制其他值的作用，该损失可以有效地拉近了像素特征和同类特征的距离。式中

为训练图像中第i个像素的类别标签。具体来说

是一个one-hot模式的标签，k代表的第i个像素真实类别是k。举例来说，若像素真实类别总共5类，k＝2即第2个位置为1，

特征一致性损失：对于特征聚类来说，来自同一类的像素特征更应该出现在特征空间的邻近位置，因此本发明通过对比学习损失对提取到的全局类特征和像素特征进行监督。

式中q代表采样像素的特征，f+与像素属于同一类的其他位置正样本像素特征，f-与像素属于不同类别的其他位置负样本像素特征，t代表温度超参，用以控制对难分负样本特征关注程度，s代表样本空间，所有像素特征。

预分割损失：为了构建类特征，需要首先对图像进行预分割得到每一类像素的粗略位置，因此本发明使用交叉熵函数对图像预分割的结果y_aux1i进行监督。

正则化损失：本发明使用交叉熵对像素特征直接通过几层卷积的分类结果y_aux2i进行监督，把像素特征映射到类特征空间，从而起到了正则化的作用。

因此总损失函数定义如下：

式中λ₁、λ₂和λ₃均为预设权重。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种基于特征聚类的语义分割系统，其中包括：

特征提取模块，用于获取已标注类别标签的训练图像，语义分割模型中的特征提取层提取该训练图像的深层语义特征和浅层细节特征，语义分割模型中的第一卷积分类器为该深层语义特征进行分类，得到该训练图像中各像素的第一分类结果，将该第一分类结果进行归一化，得到对于各语义类别，每个像素属于该类别的概率，将该概率和该深层语义特征进行点积，得到每个类别的类特征；

特征融合模块，用于融合该深层语义特征和该浅层细节特征，得到像素级别特征；根据该像素级别特征，计算该训练图像中各像素到每个该类特征的相似度，取最大相似度对应的类别作为当前像素的第二分类结果；语义分割模型中的第二卷积分类器为该像素级别特征进行分类，得到该训练图像中像素的第三分类结果；且该第二分类结果为最终语义分割结果，该第三分类结果为辅助监督损失；

模型训练模块，用于根据该训练图像的类别标签和该第一分类结果、该第二分类结果、第三分类结果，构建损失函数，训练该语义分割模型，并以训练完成后的语义分割模型为指定图片进行语义分割。

所述的基于特征聚类的语义分割系统，其中该特征提取层包括串联的骨干网络和上下文模块，该上下文模块用于将该骨干网络输出的网络深层特征进行增强，得到该深层语义特征。

所述的基于特征聚类的语义分割系统，其中该特征提取模块用于：

通过下式对该深层语义特征进行预分割：

r＝S(f_h)

其中f_h代表深层语义特征，r代表该第一分类结果，S为该第一卷积分类器；进而该第一分类结果通过softmax进行归一化，得到每个像素属于各类别的概率：

其中k代表类别，i代表像素；

将深层语义特征f_h和概率m_ik进行点积，得到每一类的类特征f_k：

该特征融合模块用于：

通过下式将该深层语义特征和该浅层细节特征融合，从而构建了高分辨率的该像素级别特征：

f_p＝C_R(concat(C_R(f_l)，upsample(C_R(f_h)))

其中f_p代表最终的像素特征，f_h，f_l分别代表深层语义特征和浅层特征，C_R代表1x1卷积用以降低计算量，upsample代表上采样对齐深层特征和浅层特征的分辨率；

通过下式得到该相似度：

class_i＝argmax_j(p_i1，p_i2，...p_ij，...，p_iK)

其中p_ik代表像素i和第k类的相似度，class_i代表像素i的该第二分类结果。

所述的基于特征聚类的语义分割系统，其中该损失函数包括聚类中心损失、特征一致性损失、预分割损失和正则化损失；

聚类中心损失：

特征一致性损失：

预分割损失：

正则化损失：

最终的损失函数：

本发明还提出了一种存储介质，用于存储执行所述任意一种基于特征聚类的语义分割方法的程序。

本发明还提出了一种客户端，用于所述的任意一种基于特征聚类的语义分割系统。

Claims (10)

1.一种基于特征聚类的语义分割方法，其特征在于，包括：

步骤1、获取已标注类别标签的训练图像，语义分割模型中的特征提取层提取该训练图像的深层语义特征和浅层细节特征，语义分割模型中的第一卷积分类器为该深层语义特征进行分类，得到该训练图像中各像素的第一分类结果，将该第一分类结果进行归一化，得到对于各语义类别，每个像素属于该类别的概率，将该概率和该深层语义特征进行点积，得到每个类别的类特征；

步骤2、融合该深层语义特征和该浅层细节特征，得到像素级别特征；根据该像素级别特征，计算该训练图像中各像素到每个该类特征的相似度，取最大相似度对应的类别作为当前像素的第二分类结果；语义分割模型中的第二卷积分类器为该像素级别特征进行分类，得到该训练图像中像素的第三分类结果；

步骤3、根据该训练图像的类别标签和该第一分类结果、该第二分类结果、第三分类结果，构建损失函数，训练该语义分割模型，并以训练完成后的语义分割模型为指定图片进行语义分割。

2.如权利要求1所述的基于特征聚类的语义分割方法，其特征在于，该特征提取层包括串联的骨干网络和上下文模块，该上下文模块用于将该骨干网络输出的网络深层特征进行增强，得到该深层语义特征；

且该第二分类结果为最终语义分割结果，该第三分类结果为辅助监督损失。

3.如权利要求1所述的基于特征聚类的语义分割方法，其特征在于，该步骤1包括：

通过下式对该深层语义特征进行预分割：

r＝S(f_h)

其中f_h代表深层语义特征，r代表该第一分类结果，S为该第一卷积分类器；进而该第一分类结果通过softmax进行归一化，得到每个像素属于各类别的概率：

其中k代表类别，i代表像素；

将深层语义特征f_h和概率m_ik进行点积，得到每一类的类特征f_k：

该步骤2包括：

通过下式将该深层语义特征和该浅层细节特征融合，从而构建了高分辨率的该像素级别特征：

f_p＝C_R(concat(C_R(f_l)，upsample(C_R(f_h)))

其中f_p代表最终的像素特征，f_h，f_l分别代表深层语义特征和浅层特征，C_R代表1x1卷积用以降低计算量，upsample代表上采样对齐深层特征和浅层特征的分辨率；

通过下式得到该相似度：

class_i＝argmax_j(p_i1，p_i2，...p_ij，...，p_iK)

其中p_ik代表像素i和第k类的相似度，class_i代表像素i的该第二分类结果。

4.如权利要求3所述的基于特征聚类的语义分割方法，其特征在于，该损失函数包括聚类中心损失、特征一致性损失、预分割损失和正则化损失；

聚类中心损失：

特征一致性损失：

预分割损失：

正则化损失：

最终的损失函数：

5.一种基于特征聚类的语义分割系统，其特征在于，包括：

特征提取模块，用于获取已标注类别标签的训练图像，语义分割模型中的特征提取层提取该训练图像的深层语义特征和浅层细节特征，语义分割模型中的第一卷积分类器为该深层语义特征进行分类，得到该训练图像中各像素的第一分类结果，将该第一分类结果进行归一化，得到对于各语义类别，每个像素属于该类别的概率，将该概率和该深层语义特征进行点积，得到每个类别的类特征；

特征融合模块，用于融合该深层语义特征和该浅层细节特征，得到像素级别特征；根据该像素级别特征，计算该训练图像中各像素到每个该类特征的相似度，取最大相似度对应的类别作为当前像素的第二分类结果；语义分割模型中的第二卷积分类器为该像素级别特征进行分类，得到该训练图像中像素的第三分类结果；

模型训练模块，用于根据该训练图像的类别标签和该第一分类结果、该第二分类结果、第三分类结果，构建损失函数，训练该语义分割模型，并以训练完成后的语义分割模型为指定图片进行语义分割。

6.如权利要求5所述的基于特征聚类的语义分割系统，其特征在于，该特征提取层包括串联的骨干网络和上下文模块，该上下文模块用于将该骨干网络输出的网络深层特征进行增强，得到该深层语义特征；

且该第二分类结果为最终语义分割结果，该第三分类结果为辅助监督损失。

7.如权利要求5所述的基于特征聚类的语义分割系统，其特征在于，该特征提取模块用于：

通过下式对该深层语义特征进行预分割：

r＝S(f_h)

其中f_h代表深层语义特征，r代表该第一分类结果，S为该第一卷积分类器；进而该第一分类结果通过softmax进行归一化，得到每个像素属于各类别的概率：

其中k代表类别，i代表像素；

将深层语义特征f_h和概率m_ik进行点积，得到每一类的类特征f_k：

该特征融合模块用于：

通过下式将该深层语义特征和该浅层细节特征融合，从而构建了高分辨率的该像素级别特征：

f_p＝C_R(concat(C_R(f_l)，upsample(C_R(f_h)))

其中f_p代表最终的像素特征，f_h，f_l分别代表深层语义特征和浅层特征，C_R代表1x1卷积用以降低计算量，upsample代表上采样对齐深层特征和浅层特征的分辨率；

通过下式得到该相似度：

class_i＝argmax_j(p_i1，p_i2，...p_ij，...，p_iK)

其中p_ik代表像素i和第k类的相似度，class_i代表像素i的该第二分类结果。

8.如权利要求7所述的基于特征聚类的语义分割系统，其特征在于，该损失函数包括聚类中心损失、特征一致性损失、预分割损失和正则化损失；

聚类中心损失：

特征一致性损失：

预分割损失：

正则化损失：

最终的损失函数：

9.一种存储介质，用于存储执行如权利要求1到4所述任意一种基于特征聚类的语义分割方法的程序。

10.一种客户端，用于权利要求5到8所述的任意一种基于特征聚类的语义分割系统。

Images