CN112085747B - 一种基于局部关系指导的图像分割方法 - Google Patents

Abstract

本发明公开了一种基于局部关系指导的图像分割方法，包括如下步骤：S1、在卷积神经网络模型中设计两个分支，第一分支为异同判断模块，第二分支保留原有的分割模块；S2、异同判断模块输出得到待分割图像的局部关系图r，并通过已有分割标注信息的变换进行监督；S3、分割模块输出初步分割结果S4、将局部关系图r与初步分割结果融合，通过定义的引导公式进行引导，调整初步分割结果生成最终分割结果p。本发明将像素局部关系信息作用到初步分割结果中，使得像素点的输出能显式利用周围像素点的分类信息和周围像素点与中心像素点的关系信息，克服了现有技术无法有效利用边界信息的缺陷，提高图像分割的准确性，同时有效降低了学习的难度。

Description

一种基于局部关系指导的图像分割方法

技术领域

本发明涉及图像分割技术领域，特别涉及一种基于局部关系指导的图像分割方法。

背景技术

图像分割是由图像处理到图像分析的关键步骤，将场景中的各元素各物体的边界准确分割出来，一直是图像分割任务的一大挑战。由于场景分割结果中包含了各个元素的形状信息，这些信息反映了图像的结构信息，因此结构信息在场景分割中相当重要。现有的利用结构信息进行图像分割的策略主要有：1、直接利用注意力机制来保留结构信息；2、通过计算某一个像素点与全图每个像素点的相似度得到相似图，再利用注意力机制找到感兴趣区域。然而，有工作表明，注意力机制激活的区域近乎全图，并没有关注同类别区域，进而无法实现结构保留的目的，并且空间注意力机制还存在计算量大的缺点。

发明内容

为解决上述问题，本发明提供了一种基于局部关系指导的图像分割方法。

本发明采用以下技术方案：

一种基于局部关系指导的图像分割方法，包括如下步骤：

S1、在卷积神经网络模型中设计两个分支，第一分支为异同判断模块，用于产生局部关系图，第二分支保留原有的分割模块，用于获得初步分割结果，所述第一分支和所述第二分支共享所述卷积神经网络的骨干网络；

S2、所述异同判断模块输出得到待分割图像的局部关系图r，所述局部关系图r∈R^H*W*k*k，其中，r是一个H*W*k*k的矩阵，H、W分别表示待分割图像的高与宽，该矩阵表示每个像素点与以自己为中心、k*k窗口内其他像素点的异同类别关系，所述异同判断模块的输出结果通过已有分割标注信息的变换进行监督；

S3、所述分割模块输出初步分割结果所述初步分割结果/>其中，C表示待分割图像中的分割对象的类别数，H、W分别表示待分割图像的高与宽；

S4、将所述局部关系图r与所述初步分割结果融合，通过引导公式进行引导，调整所述初步分割结果/>生成最终分割结果p。

进一步地，所述步骤S2中的所述异同类别关系用概率表示，/>表示像素i与像素j的异同类别的概率，反映了i与j的异同关系。

进一步地，所述步骤S3中的分割结果得到的每个像素点的分类概率值记为 表示像素点i分类为第c类的概率值。

进一步地，所述步骤S4中的所述引导公式为：

其中，p_i,j为经引导后的概率值，为初步分割结果的每个像素点的分类概率值，γ∈[0,1)，是人为设定的超参数，即认定异同性概率输出大于γ即认为是同类别，/>为指示函数，即当x为真时，/>否则为0；ω为以i，j为中心的一个小邻域(如3*3)，δ为遍历该邻域的变量；

该引导公式以像素i为中心，将像素i周围ω范围内的与之相同类别的像素点的概率值汇聚到中心，与之不同类别的像素点，则不予考虑。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、本发明利用异同判断模块预测的像素局部关系信息，将其作用到分割模块输出的粗糙的分割结果中，使得像素点的输出能显式利用周围像素点的分类信息和周围像素点与中心像素点的关系信息，克服了现有技术无法有效利用边界信息的缺陷；

2、充分利用已有的标注信息，对异同判断模块的预测进行监督，而不附加额外的训练数据，就能捕获更好的边界信息，提高图像分割的准确性；

3、异同判断模块仅区分像素是否同类别，不区分具体是哪一类，有效降低了学习的难度，大大减少了计算量。

附图说明

图1为本发明的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

如图1所示，一种基于局部关系指导的图像分割方法，本实施例的卷积神经网络采用DeepLabv2模型，包括如下步骤：

S1、在卷积神经网络模型(CNN模型)中设计两个分支，第一分支为异同判断模块，用于产生局部关系图，第二分支保留原有的分割模块，用于获得初步分割结果，所述第一分支和所述第二分支共享所述卷积神经网络的骨干网络；

S2、所述异同判断模块输出得到待分割图像的局部关系图r，所述局部关系图r∈R^H*W*k*k，其中，r是一个H*W*k*k的矩阵，H、W分别表示待分割图像的高与宽，该矩阵表示每个像素点与以自己为中心、k*k窗口内其他像素点的异同类别关系，所述异同判断模块的输出结果通过已有分割标注信息的变换进行监督；

这里对异同类别关系的判定是一个二分类的问题，仅需回答相同或不同，该矩阵对应的标签通过分割标注信息即可生成。

S3、所述分割模块输出初步分割结果所述初步分割结果/>其中，C表示待分割图像中的分割对象的类别数，H、W分别表示待分割图像的高与宽；

S4、将所述局部关系图r与所述初步分割结果融合，通过引导公式进行引导，调整所述初步分割结果/>生成最终分割结果p。

所述步骤S2中的所述异同类别关系用概率表示，/>表示像素i与像素j的异同类别的概率，反映了i与j的异同关系。这种异同关系具有可传递性：/>和反身性/>

所述步骤S3中的分割结果得到的每个像素点的分类概率值记为/> 表示像素点i分类为第c类的概率值。

所述步骤S4中的所述引导公式为：

其中，p_i,j为经引导后的概率值，为初步分割结果的每个像素点的分类概率值，γ∈[0,1)，是人为设定的超参数，即认定异同性概率输出大于γ即认为是同类别，/>为指示函数，即当x为真时，/>否则为0；ω为以i，j为中心的一个小邻域(如3*3)，δ为遍历该邻域的变量；

该引导公式以像素i为中心，将像素i周围ω范围内的与之相同类别的像素点的概率值汇聚到中心，与之不同类别的像素点，则不予考虑。

这里将获得的局部关系图r作用于所述初步分割结果的概率掩膜上，这可以看做是卷积操作，但是每个局部的参数又是不同的，同时又是分组卷积，因此总的来说是一个局部分组卷积操作。

本实施例的使用异同类别关系以指导分割结果可形式化为：

该公式表示，异同类别关系呈现的梯度应与分割结果的梯度成正比。经引导公式引导后的概率满足上式的要求。

图像结构信息尤其是边界信息对场景分割十分重要，为了让模型保留结构信息的有效部分，即边界信息，因此本实施例利用模型预测的像素局部关系，将其作用到粗糙的分割结果中，使得像素的输出能显式利用周围像素点的分类信息，克服了现有技术无法有效利用边界信息的缺陷；充分利用已有的标注信息，对异同判断模块的预测进行监督，而不附加额外的训练数据，就能捕获更好的边界信息，从而提高图像分割的准确性；异同判断模块仅区分像素是否同类别，不区分具体是哪一类，有效降低了学习的难度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种基于局部关系指导的图像分割方法，其特征在于：包括如下步骤：

S1、在卷积神经网络模型中设计两个分支，第一分支为异同判断模块，用于产生局部关系图，第二分支保留原有的分割模块，用于获得初步分割结果，所述第一分支和所述第二分支共享所述卷积神经网络的骨干网络；

S2、所述异同判断模块输出得到待分割图像的局部关系图r，所述局部关系图r∈R^{H *W*k*k}，其中，r是一个H*W*k*k的矩阵，H、W分别表示待分割图像的高与宽，该矩阵表示每个像素点与以自己为中心、k*k窗口内其他像素点的异同类别关系，所述异同判断模块的输出结果通过已有分割标注信息的变换进行监督；

S3、所述分割模块输出初步分割结果所述初步分割结果/>其中，C表示待分割图像中的分割对象的类别数，H、W分别表示待分割图像的高与宽；

S4、将所述局部关系图r与所述初步分割结果融合，通过引导公式进行引导，调整所述初步分割结果/>生成最终分割结果p。

2.如权利要求1所述的一种基于局部关系指导的图像分割方法，其特征在于：所述步骤S2中的所述异同类别关系用概率表示，/>表示像素i与像素j的异同类别的概率，反映了i与j的异同关系。

3.如权利要求1所述的一种基于局部关系指导的图像分割方法，其特征在于：所述步骤S3中的分割结果得到的每个像素点的分类概率值记为/> 表示像素点i分类为第c类的概率值。

4.如权利要求1所述的一种基于局部关系指导的图像分割方法，其特征在于：所述步骤S4中的所述引导公式为：

其中，p_i,j为经引导后的概率值，为初步分割结果的每个像素点的分类概率值，γ∈[0,1)，是人为设定的超参数，即认定异同性概率输出大于γ即认为是同类别，/>为指示函数，即当x为真时，/>否则为0；ω为以i，j为中心的一个小邻域，δ为遍历该邻域的变量；

该引导公式以像素i为中心，将像素i周围ω范围内的与之相同类别的像素点的概率值汇聚到中心，与之不同类别的像素点，则不予考虑。