CN110163239B - 一种基于超像素和条件随机场的弱监督图像语义分割方法 - Google Patents

Abstract

一种基于超像素和条件随机场的弱监督图像语义分割方法，属于图像处理领域，其特征在于用SLIC算法分割图像时可以自适应产生预分割超像素个数K，并且将颜色特征和纹理特征融合进行超像素合并，迭代的终止条件是合并的超像素块数等于类别标签个数的3倍。以超像素块为节点再构建无向图模型，将图像中的类别关联信息和相似度加入到成对的势能函数中，将超像素块和类别标签一一对应，将二阶条件随机场能量函数作为语义分割的模型进行标签推断，其推断结果就是优化能量函数的结果，把目标分类转化为能量函数最小化的问题。本发明不仅改进了超像素分割算法，还引入条件随机场模型，提高了弱监督语义分割的精度。

Description

一种基于超像素和条件随机场的弱监督图像语义分割方法

技术领域

本发明属于图像处理领域，具体涉及一种基于(Superpixel)和条件随机场(Conditional Random Fields)的弱监督图像语义分割方法。

背景技术

在人类的感知系统当中，视觉系统因为信息量大且利用率高，成为我们获取外界信息最常用的方式之一。如何模拟人类对一幅画面从接收到语义诠释这一过程，是现今计算机视觉技术面临的巨大挑战。如今，与计算机视觉有关的智能系统应用于社会生活的各个角落，作为计算机视觉研究的重要领域，语义分割对场景理解、目标识别、图像或视频编辑等众多应用都具有十分重要的意义。相较于普通的图像分类而言，图像的语义分割可以提取得到更多的信息，不仅可以找到图像中的语义信息，还可以精确地定位到所有的语义信息在图像中的位置。图像语义分割技术能够深层次地理解图像语义内容，把语言标签映射到图像中相应的区域上，能够实现更准确的图像理解效果。

现有的语义分割算法根据监督信息的多少主要分为全监督语义分割算法和弱监督语义分割算法。全监督语义分割方法需要使用精细标注的数据，即每个像素都经过人工精确标注的图像作为训练数据。这种精确标注的数据集非常有限，其在标注过程中非常耗时耗力且因标注人员主观理解习惯而不同。基于全监督学习中像素级标注难以获得的问题，提出了弱监督学习这种方法。弱监督学习可以利用具有弱标注图像样本，如图像级标注或边界框(boundingbox)标注样本进行学习。目前，随着图像分享网站的不断普及并提供了大量用户标注的图像，与全监督语义分割相比，弱监督语义分割因为图像级标签易获取成为了语义分割领域的一个研究热点。

近年来，国内外研究者对弱监督条件下的语义分割问题进行了一系列研究，这些工作可以大概分成三类：基于分类器弱化的方法、基于聚类的方法和基于深度卷积神经网络(DCNN)的方法。

基于分类器弱化的方法是从弱化监督数据的角度出发，将带有某标记的图像中所有像素或者超像素均作为该标记的正样本，无此标记的图像中所有像素或者超像素作为负样本，直接进行分类器的训练，并使用弱监督关系和某些假设定义正则化约束项，通过寻优找到最佳的分类器。

基于聚类的方法是假设具有相同语义标记的超像素特征距离较近，而不同语义标记的超像素特征距离较远。聚类完成后，利用弱标记信息在聚类得到的类簇加上标记。利用聚类方法进行弱监督语义分割是最朴素的想法，但是聚类中心的确定、聚类方法的准确性以及类标记的确定等问题一直未得到很好的解决。

基于深度卷积神经网络的方法是以DCNN框架为基础，通过训练DCNN来获得对象位置。Oquab等人应用DCNN框架生成单个点来推断对象的位置，但该方法无法检测图像中同一类的多个对象。Pinheiro等人和Pathak等人在最终的成本函数中增加了分段约束以优化DCNN图像级标签的参数。但是，这两种方法需要额外的注释才能获得较好的效果。

为了获得高精度、高效率的感知分组，以超像素为基本处理单元的图像分割成为近年来的一种非常重要的方式。与像素相比，使用超像素作为基本处理单元，不仅可以显著降低算法的计算复杂度，而且可以提供强大的分组提示来指导分割。最重要的是，超像素能够保持目标的原始边界信息的高精度，极大地加快了后续超像素合并的过程。因此，超像素分割近年来引起了人们的广泛关注，成为图像分割、分类、目标跟踪、目标定位和图像语义分割等应用领域的重要方法。

在过去的几十年中，条件随机场一直被广泛地使用在各种分割问题中，由于它较好地结合了图模型和分类问题的优势，所以它也成为最为经典的分割模型之一。但是，由于条件随机场本身的表达能力有限，可能导致处理目标交叉、遮挡或者复杂形变等问题时结果不理想。为了解决这一问题，近年来人们把高层类别先验知识引入到语义分割模型中。

发明内容

为了解决全监督图像语义分割像素级标注难以获取，传统弱监督图像语义分割精度不高的问题，本文提出了一种基于超像素和条件随机场的弱监督图像语义分割方法。将图像中标注的标签和超像素合并算法联系起来，并且加入了语义关联信息，用条件随机场模型进行识别。

本申请的涉及构思为在弱监督条件下，利用超像素块代替超像素作为基本处理单元，通过结合图像语义标签的信息推断出聚类超像素的语义类别，再利用含有语义信息的超像素块训练条件随机场模型，并结合语义关联关系和相似度实现超像素块的语义标签推断。

一种基于超像素和条件随机场的弱监督图像语义分割方法，包括下述步骤：

1)超像素图像分割：对图像进行SLIC超像素分割，自适应产生预分割超像素个数为K，构造一个一维特征矢量Z，假设图像有N个像素，则每个超像素的大小为N/K，且超像素中心点距离最近表示为S，以步长为S的网格初始化聚类中心；

2)超像素特征提取：提取颜色特征、纹理特征来描述每一个超像素；

3)超像素合并：根据特征向量计算不同超像素之间的相似度，进而基于相似度将超像素合并为超像素块，将纹理特征和颜色特征进行融合，再设定相似度阈值运用到超像素合并阶段，使超像素块的个数等于图像标签个数的3倍；其方法是定义一个相似度函数

其中λ为调节因子，

和

分别为颜色和纹理特征距离，再设定一个阈值T∈[0,1]，将相似度高于阈值T的合并，逐步进行迭代，迭代的终止条件是：合并的超像素块数P等于类别标签个数的3倍；

4)由3)超像素合并后，将每一个超像素块赋予语义类别标签；以超像素块为节点再构建无向图模型G(V,E)，其中V是结点，E是连接结点的边，由

建立二阶条件随机场模型，将类别标签与超像素块的映射问题转换成能量函数最小化的问题，使能量函数最小的类别就是语义类别的标签，其中E(y,X)为能量函数，φ_u(y_i,x_i)为单点势能函数，φ_p(y_i,y_j,x_i,x_j)为成对的势能函数，将图像中的类别关联信息和相似度加入到成对的势能函数中，将超像素块和类别标签一一对应，可以准确的进行标签推断；

5)构建条件随机场模型，得到语义分割结果；将二阶条件随机场能量函数作为语义分割的模型进行标签推断，利用图像的高阶信息，将语义标签推断转化为能量函数最小化的问题，标签推断的结果就是最小化能量函数，

就是超像素块标签推断的结果：

φ_u(y_i,x_i)为单点势能函数，φ_p(y_i,y_j,x_i,x_j)为成对的势能函数。

进一步的讲，在1)中用SLIC超像素分割算法时，可以自适应产生预分割的超像素个数K，首先将RGB图像转换成HSV模式，其方法在于构造一个一维特征矢量Z，将HSV量级化，并把各颜色分量合成一维特征矢量，计算公式为：Z＝9H+3S+V，统计Z中相同值出现的次数,将这些值从小到大进行排序，取这些数的中位数m，则超像素预分割的个数K＝[m]。

进一步的讲，在3)中超像素合并时，将纹理特征和颜色特征进行融合，再设定相似度阈值运用到超像素合并阶段，其方法是定义一个相似度函数

其中颜色特征距离

纹理特征距离

其中，l_i、a_i、b_i和l_j、a_j、b_j是第i个超像素和第j个超像素对应的Lab颜色分量的均值也就是颜色特征向量，t_i和t_j分别是第i个超像素和第j个超像素对应的Gabor纹理特征向量。

进一步的讲，在4)其能量函数为：

单点势能函数为：

其中Z为归一化因子，l为图像标记的真值，l_i(y_i)表示l_i的第y_i个元素，D(x_i)是指与y_i相似的相邻超像素块的集合，而能量函数中成对的势能函数为:

其中ρ为权重因子，用来调节成对势能函数在条件随机场模型中所占的权重，I(·)是指示函数，若y_i≠y_j为真则函数输出为1；若y_i≠y_j为假则函数输出为0，δ用来调节高斯核的宽度，t(i,j)为类别关联函数，μ(i,j)为余弦相似度函数。

本发明的优点如下:

(1)超像素将图像划分为一些小区域，用超像素代替像素不仅可以降低图像分割的复杂度，还可以有效保留目标区域的边界，为之后的图像处理奠定了基础。

(2)在使用SLIC超像素分割算法时，可以自适应的产生超像素预分割的个数K。在分割是若是K值太大，超像素合并时会带来冗余，若是K值太小，可能导致分割不精准。针对不同的图像会产生不同的K值，这样可以使图像分割的更为准确。

(3)将纹理特征和颜色特征进行融合，再设定相似度阈值运用到超像素合并阶段，使超像素块的个数等于图像标签个数的3倍。将超像素进一步整合成面积较大的超像素块，显著降低了算法的复杂度并提高了图像处理的速度。

(4)在给每个超像素块赋予合适的标签时，将类别关联信息和相似度引入成对的势能函数中，使得标签和超像素块一一映射的关系更为准确，同时也为之后的标签推断奠定了基础。

(5)将二阶条件随机场能量函数作为语义分割的模型，这样可以更好的利用图像的高阶信息，并且将语义标签推断转化为能量函数最小化的问题，不仅将问题简化而且也使图像语义分割结果更加准确。

附图说明

图1为本发明所述的基于超像素和条件随机场的弱监督图像语义分割方法的框架图。

具体实施方式

下面结合附图1对本发明的具体实施例进行详细说明，一种基于超像素和条件随机场的弱监督图像语义分割方法，具体步骤如下：

1)采用SLIC超像素分割算法对图像进行分割

a)假设图片中有N(N为自然数)个像素点，预分割超像素个数为K(K的个数为自适应生成的),每个超像素的大小为N/K，且超像素中心点距离最近表示为S，以步长为S的网格初始化聚类中心。

b)自适应产生预分割超像素个数K值。首先将RGB图像转换成HSV模式，l_max是R、G、B三个通道的最大值，l_min是R、G、B三个通道的最小值，根据式(1)、(2)、(3)可以将RGB模式转换成HSV模式。其中H∈[0,360],S,V∈[0,1],计算公式如下：

S＝(l_max-l_min)/(l_max) 式(2)

V＝l_max/255 式(3)

构造一个一维特征矢量Z，将HSV量级化，并把各颜色分量合成一维特征矢量计算公式如式(4)所示

Z＝9H+3S+V 式(4)

统计Z中相同值出现的次数，将这些值从小到大进行排序，取这些数的中位数m，则超像素预分割的个数K＝[m]

c)在2S×2S的范围内，对图像的每一个像素点都分别计算与其距离最近的超像素中心点相似度，并将最相似超像素中心点的标签赋值给该像素，对这一过程不断迭代直至收敛得到最终结果。相似度的计算公式如式(5)所示

式中d_lab是颜色距离，d_xy是空间距离，D_s是相似度，m是紧凑度，

是颜色和空间距离的平衡项，根据经验及实验取m＝10。

2)提取超像素的颜色特征以及纹理特征：

a)提取超像素Lab颜色特征：首先计算每个超像素块的像素数，然后统计出每个超像素Lab三通道的值，最后取超像素各通道的均值作为Lab颜色特征向量。

b)提取超像素Gabor纹理特征：常用的二维Gabor变化为式(6)，其中W为高斯函数的夫调制频率。

以g(x,y)为母小波，通过对g(x,y)进行适当变化得到自相似一组滤波器为Gabor小波。

g_mn(x,y)＝a^-mg(x',y')

则若设输入图像为I(x,y)Gabor小波变化为式(8)

则u_mn、σ_mn是纹理特征

u_mn＝∫∫|W_mn(x,y)|dxdy

为了降低维度以及提高效率，我们仅取一个方向一个尺度的特征作为特征向量。

3)超像素合并：基于特征向量计算超像素的相似度，再根据不同超像素间的相似度进行相邻超像素合并；超像素合并的基础是区域特征相似度，而颜色特征和纹理特征均是重要的区域特征，因此我们要将颜色特征和纹理特征融合起来，共同作为度量标准。

a)首先计算超像素的颜色特征距离和纹理特征距离

颜色特征距离：

纹理特征距离：

其中，l_i、a_i、b_i和l_j、a_j、b_j分别是第i个超像素和第j个超像素对应的Lab颜色分量的均值也就是颜色特征向量。t_i、t_j分别是第i个超像素和第j个超像素对应的Gabor纹理特征向量。

b)相似度定义为式(10)所示

其中λ为调节因子，它是用来调节颜色距离和纹理距离之间权重的大小。

c)设置一组阈值T，T∈[0,1]。将b)中计算出的相似度高于阈值T的合并，逐步进行迭代。迭代的终止条件是：合并的超像素块数P等于类别标签个数的3倍。

4)将每一个超像素块赋予最合适的语义标签；以超像素块为结点构建无向图G(V,E)，基于经典二阶条件随机场模型将类别标签和超像素块对应起来.每个超像素块中的超像素均对应一个语义类别标签X∈[1,..,L]。其中V是结点，E是连接结点的边，而无向图是指边没有方向的图。

经典的二阶条件随机场模型为：

式(11)中，E(y,X)为能量函数，φ_u(y_i,x_i)为单点势能函数，

φ_p(y_i,y_j,x_i,x_j)为成对的势能函数

a)在将每一个超像素块赋予最合适的类别标签这个过程中，二阶条件随机场的单点势能函数为式(12)

Z为归一化因子，l为图像标记的真值，l_i(y_i)表示l_i的第y_i个元素，D(x_i)是指与y_i相似的相邻超像素块的集合。

b)成对的势能函数定义为式(13)

式(13)中ρ为权重因子，用来调节成对势能函数在条件随机场模型中所占的权重。I(·)是指示函数，若y_i≠y_j为真则函数输出为1；若y_i≠y_j为假则函数输出为0。δ用来调节高斯核的宽度，实验中将其设置为δ＝1。

假设C＝[C₁,C₂,····,C_n]是数据集中图像的类别标记，n为数据集图像的个数。式(14)中t(i,j)为类别关联函数，P(ij)是类别标记c_i和c_j同时出现的概率，P(i+j)是类别标记c_i和c_j任意一个出现的概率。式(15)中μ(i,j)为余弦相似度函数，C_i是类别标记C的第i列，C_i可以看作c_i的一种特征向量。

5)由式(11)建立二阶条件随机场模型，将类别标签与超像素块的映射问题转换成能量函数最小化的问题。在4)中我们将类别关联信息以及相似度加入到成对势能函数里，可以更加准确的进行标签推断。标签推断的结果就是最小化能量函数，

就是超像素块标签推断的结果，如式(16)所示：

本发明中具体实施例的实验环境为matlab2016，基于个人64位windows10操作系统，硬件配置Intel(R)Core(TM)i5-5200UCPU@2.20GHz，内存为4GB 1600MHz。程序代码基于matlab编程语言编写，在实验过程中用到了matlab的一些处理函数。

以上所述仅为本发明的具体实施例，但本发明所保护范围的结构特征并不限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围内。

Claims (3)

1.一种基于超像素和条件随机场的弱监督图像语义分割方法，其特征在于：包括下述步骤：

1)超像素图像分割：对图像进行SLIC超像素分割，自适应产生预分割超像素个数为K，首先将RGB图像转换成HSV模式，其方法在于构造一个一维特征矢量Z，将HSV量级化，并把各颜色分量合成一维特征矢量，计算公式为：Z＝9H+3S+V，统计Z中相同值出现的次数,将这些值从小到大进行排序，取这些数的中位数m，则超像素预分割的个数K＝[m]；假设图像有N个像素，则每个超像素的大小为N/K，且超像素中心点距离最近表示为S，以步长为S的网格初始化聚类中心；

2)超像素特征提取：提取颜色特征、纹理特征来描述每一个超像素；

3)超像素合并：根据特征向量计算不同超像素之间的相似度，进而基于相似度将超像素合并为超像素块，将纹理特征和颜色特征进行融合，再设定相似度阈值运用到超像素合并阶段，使超像素块的个数等于图像标签个数的3倍；其方法是定义一个相似度函数

其中λ为调节因子，

和

分别为颜色和纹理特征距离，再设定一个阈值T∈[0,1]，将相似度高于阈值T的合并，逐步进行迭代，迭代的终止条件是：合并的超像素块数P等于类别标签个数的3倍；

4)由3)超像素合并后，将每一个超像素块赋予语义类别标签；以超像素块为节点再构建无向图模型G(V,E)，其中V是结点，E是连接结点的边，由

建立二阶条件随机场模型，将类别标签与超像素块的映射问题转换成能量函数最小化的问题，使能量函数最小的类别就是语义类别的标签，其中E(y,X)为能量函数，φ_u(y_i,x_i)为单点势能函数，φ_p(y_i,y_j,x_i,x_j)为成对的势能函数，假设C＝[C₁,C₂,…,C_n]是数据集中图像的类别标记，n为数据集图像的个数，将图像中的类别关联信息和相似度加入到成对的势能函数中，将超像素块和类别标签一一对应；

5)构建条件随机场模型，得到语义分割结果；将二阶条件随机场能量函数作为语义分割的模型进行标签推断，利用图像的高阶信息，将语义标签推断转化为能量函数最小化的问题，标签推断的结果就是最小化能量函数，

就是超像素块标签推断的结果：

φ_u(y_i,x_i)为单点势能函数，φ_p(y_i,y_j,x_i,x_j)为成对的势能函数。

2.根据权利要求1所述一种基于超像素和条件随机场的弱监督图像语义分割方法，其特征在于：在3)中超像素合并时，将纹理特征和颜色特征进行融合，再设定相似度阈值运用到超像素合并阶段，其方法是定义一个相似度函数

其中颜色特征距离

纹理特征距离

其中，l_i、a_i、b_i和l_j、a_j、b_j是第i个超像素和第j个超像素对应的Lab颜色分量的均值也就是颜色特征向量，t_i和t_j分别是第i个超像素和第j个超像素对应的Gabor纹理特征向量。

3.根据权利要求1所述一种基于超像素和条件随机场的弱监督图像语义分割方法，其特征在于：在4)中t(i,j)为类别关联函数，

其中P(ij)是类别标记c_i和c_j同时出现的概率，P(i+j)是类别标记c_i和c_j任意一个出现的概率，μ(i,j)为余弦相似度函数，C_i是类别标记C的第i列，C_i可以看作c_i的一种特征向量；能量函数为：

单点势能函数为：

其中Z为归一化因子，l为图像标记的真值，l_i(y_i)表示l_i的第y_i个元素，D(x_i)是指与y_i相似的相邻超像素块的集合，而能量函数中成对的势能函数为:

其中ρ为权重因子，用来调节成对势能函数在条件随机场模型中所占的权重，I( · ) 是指示函数，若y_i≠y_j为真，则函数输出为1；若y_i≠y_j为假，则函数输出为0，δ用来调节高斯核的宽度，t(i,j)为类别关联函数，μ(i,j)为余弦相似度函数。

Images