CN112085746A - 一种基于增强特征表示的图像分割方法 - Google Patents

Abstract

本发明公开了一种基于增强特征表示的图像分割方法，包括如下步骤：S1、以卷积神经网络作为骨干网络，将待分割图像输入到卷积神经网络以获得初次分割结果，输出特征图；S2、利用全局平均池化捕获所述特征图的类别整体特征；S3、重建像素特征，将其用于分类获得最终的分割图像。本发明通过捕获各类别的整体特征，将其作用于各类别内像素点，进而增强像素特征表示，提高类内像素点的相似度和类间像素点的判别性，从而提高图像分割的准确性。

Description

一种基于增强特征表示的图像分割方法

技术领域

本发明涉及图像分割技术领域，特别涉及一种基于增强特征表示的图像分割方法。

背景技术

场景分割的核心是要将同类别的区域标记为同个标签，因此需要提高同属同一物体内的各像素点的相似度，同时要让不同物体的特征具有很好的区分度，即同时提高类内像素点的相似度和类间像素点的判别性，才有利于分为同一类，从而实现得到更加准确的图像分割结果。现有的方法通常采用注意力机制、最小生成树或分段最小生成树来捕获物体的大致区域以实现分类，但有研究表明注意力机制未能关注同类别区域，其他方法也存在计算量大的缺点。

发明内容

为解决上述问题，本发明提供了一种基于增强特征表示的图像分割方法。

本发明采用以下技术方案：

一种基于增强特征表示的图像分割方法，包括如下步骤：

S1、以卷积神经网络作为骨干网络，将待分割图像输入到卷积神经网络以获得初次分割结果，输出特征图；

S2、利用全局平均池化捕获所述特征图的类别整体特征；

S3、重建像素特征，将其用于分类获得最终的分割图像。

进一步地，所述步骤S2具体为：

S21、使用初步监督将特征图划分成C个区域{R₁,R₂,...,R_c}，其中R_c表示第c类别的区域；

S22、使用各个区域到所述特征图中提取每个类别的整体特征，其公式如下所示：u_c＝GAP(F*p_c)，其中，u_c表示第c类的整体特征，F表示所述卷积神经网络输出的所述特征图，S21中所述区域提议R_c经过自动广播操作后，与F相乘，获得第c类的张量表示，GAP表示全局平均池化，每个类别的全局平均池化的区域是不同的，是R_c的非0区域。

进一步地，所述步骤S3具体为：

S31、每个像素点拥有概率值向量(p₁，p₂，...，p_C)，将向量内概率值均小于等于0.5的像素点形成的集合确定为边界区域，利用放缩函数对所述边界区域的概率进行放缩，拉大最大概率值与其他概率值之间的差距，即：

其中，(p₁,p₂,…,p_C)表示该点判别为各类别的概率，(p_1new,p_2new,…,p_Cnew)表示放缩后的概率；

S32、关注最大概率值所指示的那个类别的特征，利用对各类别特征加权运算的方式建立像素点与类别整体特征融合，增强各像素点的特征表示，即：

其中，(u₁,u₂,…,u_C)表示各类别的整体特征，C表示类别数，ρ表示加权运算后的特征变换函数，上式表示像素点放缩后的概率与类别整体特征融合后获得的增强特征。

进一步地，所述放缩函数为：

0≤p_i≤1，其中，f()表示对概率值进行缩放，w_i为C维的向量，表示第i个像素点分类为各个类别的概率，λ是超参数，用于控制放缩的规模，当λ≥1时，才能放大最大值与其他值之间的间距，否则，将会拉小间距，Z是归一化系数，其计算方法为:

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、通过捕获各类别的整体特征，将其作用于各类别内像素点，进而增强像素特征表示，提高类内像素点的相似度和类间像素点的判别性，从而提高图像分割的准确性；

2、通过对边界区域的像素点的分类概率值进行放缩，使其更加关注于某一个类别特征，达到对最大概率的类别给予更多关注的目的，从而获得更好的分割边界；

3、与仅采用骨干网络即卷积神经网络获得的初步分割结果相比，本发明由于采用了提升像素特征的判别表示，分割的准确性得到了较大的提升；

4、本发明通过将各类别的整体特征与像素点融合，实现对通类别区域的关注，克服了现有的注意力机制未能关注同类别区域的缺陷。

附图说明

图1为本发明工作流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

如图1所示，一种基于增强特征表示的图像分割方法，包括如下步骤：

一种基于增强特征表示的图像分割方法，包括如下步骤：

S1、以卷积神经网络作为骨干网络，将待分割图像输入到卷积神经网络以获得初次分割结果，输出特征图；

S2、利用全局平均池化捕获所述特征图的类别整体特征；

S3、重建像素特征，将其用于分类获得最终的分割图像。

所述步骤S2具体为：

S21、使用初步监督将特征图划分成C个区域{R₁,R₂,...,R_c}，其中R_c表示第c类别的区域；

S22、使用各个区域到所述特征图中提取每个类别的整体特征，其公式如下所示：u_c＝GAP(F*R_c)，其中，u_c表示第c类的整体特征，F表示所述卷积神经网络输出的所述特征图，S21中所述区域提议R_c经过自动广播操作后，与F相乘，获得第c类的张量表示，GAP表示全局平均池化，每个类别的全局平均池化的区域是不同的，是R_c的非0区域。

这里，通过在骨干网络即卷积神经网络(CNN)中间层或出口处加监督信号，得到初步分割结果，该结果反应了各个类别在各个点出现的概率，因此使用该初步分割结果作为这C个可能区域的提议，值的注意的是，在输入图像中可能没有第c类别，那么其区域提议则为空。

所述步骤S3具体为：

S31、利用放缩函数对所述边界区域的概率进行放缩，拉大最大概率值与其他概率值之间的差距，确定概率值较低的区域作为边界区域，即：

其中，(p₁,p₂,…,p_C)表示该点判别为各类别的概率，(p_1new,p_2new,…,p_Cnew)表示放缩后的概率；

S32、关注最大概率值所指示的那个类别的特征，利用对各类别特征加权运算的方式建立像素点与类别整体特征融合，增强各像素点的特征表示，即：

其中，(u₁,u₂,…,u_C)表示各类别的整体特征，C表示类别数，ρ表示加权运算后的特征变换函数，上式表示像素点放缩后的概率与类别整体特征融合后获得的增强特征。

建立像素点与类别之间联系最直观的方法是加权汇总各个类别的特征：y_i≤i≤HW＝ρ(p₁*u₁+p₂*u₂+...+p_C*u_C)；

然而这种方法会导致边界变得模糊，其最大概率值与次大概率值非常接近，其每个类之间的概率值差异并不大，存在歧义。如果仍旧使用加权平均，反而会放大歧义区域。由于边界非常重要，因此，在重建像素特征的阶段，本实施例提出使用“关注特征”的方法如步骤S31中所阐述拉大最大概率值与其他概率值之间的差距，使得边界不被加权平滑。

为了实现输入值在[0,1)时仍然具备放缩效果，专门设计了放缩函数，所述放缩函数为：

0≤p_i≤1，其中，f()表示对概率值进行缩放，w_i为C维的向量，表示第i个像素点分类为各个类别的概率，λ是超参数，用于控制放缩的规模，当λ≥1时，才能放大最大值与其他值之间的间距，否则，将会拉小间距，Z是归一化系数，其计算方法为:

本实例取λ＝1。

本实施例通过捕获各类别的整体特征，将其作用于各类别内像素点，进而增强像素特征表示，提高类内像素点的相似度和类间像素点的判别性，从而提高图像分割的准确性；通过对边界区域的像素点的分类概率值进行放缩，使其更加关注于某一个类别特征，达到对最大概率的类别给予更多关注的目的，从而获得更好的分割边界；与仅采用骨干网络即卷积神经网络获得的初步分割结果相比，本实施例由于采用了提升像素特征的判别表示，分割的准确性得到了较大的提升；本实施例通过将各类别的整体特征与像素点融合，实现对通类别区域的关注，克服了现有的注意力机制未能关注同类别区域的缺陷。

综上，整个流程可总结为:

这里，y_i表示最终分类结果，c表示类别c，总类别数则是C，w_i为C维的向量，表示第i个像素点分类为各个类别的概率，w_i,c示第i个像素点分类为第c类的概率，f()则是该方法重建像素特征中的“关注特征”变换，u_c表示第c个类别的整体特征，ρ表示加权运算后的特征变换函数。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于增强特征表示的图像分割方法，其特征在于：包括如下步骤：

S1、以卷积神经网络作为骨干网络，将待分割图像输入到卷积神经网络以获得初次分割结果，输出特征图；

S2、利用全局平均池化捕获所述特征图的类别整体特征；

S3、重建像素特征，将其用于分类获得最终的分割图像。

2.如权利要求1所述的一种基于增强特征表示的图像分割方法，其特征在于：所述步骤S2具体为：

S21、使用初步监督将特征图划分成C个区域{R₁,R₂,...,R_c}，其中R_c表示第c类别的区域；

S22、使用各个区域到所述特征图中提取每个类别的整体特征，其公式如下所示：u_c＝GAP(F*R_c)，其中，u_c表示第c类的整体特征，F表示所述卷积神经网络输出的所述特征图，S21中所述区域提议R_c经过自动广播操作后，与F相乘，获得第c类的张量表示，GAP表示全局平均池化，每个类别的全局平均池化的区域是不同的，是R_c的非0区域。

3.如权利要求1所述的一种基于增强特征表示的图像分割方法，其特征在于：所述步骤S3具体为：

S31、每个像素点拥有概率值向量(p₁，p₂，...，p_C)，将向量内概率值均小于等于0.5的像素点形成的集合确定为边界区域，利用放缩函数对所述边界区域的概率进行放缩，拉大最大概率值与其他概率值之间的差距，即：

其中，(p₁,p₂,…,p_C)表示该点判别为各类别的概率，(p_1new,p_2new,…,p_Cnew)表示放缩后的概率；

S32、关注最大概率值所指示的那个类别的特征，利用对各类别特征加权运算的方式建立像素点与类别整体特征融合，增强各像素点的特征表示，即：

其中，(u₁,u₂,…,u_C)表示各类别的整体特征，C表示类别数，ρ表示加权运算后的特征变换函数，上式表示像素点放缩后的概率与类别整体特征融合后获得的增强特征。

4.如权利要求3所述的一种基于增强特征表示的图像分割方法，其特征在于：所述放缩函数为：

0≤p_i≤1，其中，f()表示对概率值进行缩放，w_i为C维的向量，表示第i个像素点分类为各个类别的概率，λ是超参数，用于控制放缩的规模，当λ≥1时，才能放大最大值与其他值之间的间距，否则，将会拉小间距，Z是归一化系数，其计算方法为:

Images