CN103456013B - 一种表示超像素以及度量超像素之间相似性的方法 - Google Patents

Abstract

一种表示超像素以及度量超像素之间相似性的方法，包括两个阶段，第一阶段，进行超像素BoS构建：对于给定的输入图像，获取超像素建立超像素金字塔、提取最大内接正方形、显著正方形求解、建立超像素BoS描述符；第二阶段，基于超像素BoS模型的超像素相似度计算，在获得超像素BoS模型描述符的基础上，对于两个超像素和之间的相似度进行度量。本发明可以更好地匹配超像素的特性、精确地捕获超像素的细节信息，以及合理地处理超像素分离与合并的多样性。本发明的方法，可以使得计算机视觉等相关领域中基于超像素的特定应用算法，如图像分割、图像匹配等算法，更好地应对超像素的不规则性、分离——合并多样性以及多特征性的特征，从而得到更好的效果。

Description

一种表示超像素以及度量超像素之间相似性的方法

技术领域

本发明涉及一种图像处理和图像分析的方法。特别是涉及一种基于超像素的算法应用的表示超像素以及度量超像素之间相似性的新方法。

背景技术

超像素是在一幅图中在感知上有意义的不规则区域，超像素经常通过将相似的相邻像素合并而产生。在超像素级别的应用中一个重要的问题是怎样可靠的测量两个超像素之间的相似度。当前大部分超像素相关的工作主要集中于超像素的产生，或者超像素在不同的计算机视觉问题中的应用。相比较规则的图像区域，超像素具有以下点特征：(1)不规则性，一幅图片的超像素具有不同的大小和形状。(2)分离—合并多样化，一个相同的物体在两幅不同的图片中可能得到不同数目的具有不同大小、形状以及空间连通性的超像素。(3)多特征性，大部分超像素算法产生的超像素多为一致性区域，但是由于参数设置、算法失效等原因，会存在包含多个一致性区域的超像素。当前对于超像素间相似性的测量，仍然是将超像素简单地当做一般的图像区域，简单的使用现有的区域特征来表示，如区域直方图，区域协方差，GMM和SPM。即使这些方法在某些应用中该方法表现良好，但其忽略了超像素中的某些特征而这些特征将会导致在测量超像素级别相似度时使用的一般图像区域特征失效。

发明内容

本发明所要解决的技术问题是，提供一种能够更好地匹配超像素的特性、精确地捕获超像素的细节信息，以及合理地处理超像素分离与合并的多样性的表示超像素以及度量超像素之间相似性的方法。

本发明所采用的技术方案是：一种表示超像素以及度量超像素之间相似性的方法，包括两个阶段，第一阶段，进行超像素BoS构建：对于给定的输入图像，获取超像素建立超像素金字塔、提取最大内接正方形、显著正方形求解、建立超像素BoS描述符；第二阶段，基于超像素BoS模型的超像素相似度计算，在获得超像素BoS模型描述符的基础上，对于两个超像素P和Q之间的相似度进行度量，其中，BoS表示利用最大内接正方形对超像素进行描述、构建和相似度度量的一种方法。

所述的第一阶段进行超像素BoS构建包括如下步骤：

1)提取超像素建立超像素金字塔：通过标准SLIC算法产生第1层超像素；给定第i层的超像素P_i，通过检测第i+1层中超像素P_i+1的初始种子与超像素P_i的从属关系来产生第i+1层的超像素P_i+1；在第i+1层中，每一个初始种子产生的超像素只包含具有和种子具有相同标签的像素，使得第i+1层超像素P_i+1的边界严格落在第i层中产生该超像素的超像素的边界内；

2)提取超像素内最大内接正方形：将BoS模型建立在超像素金字塔中的第一层超像素中，对于金字塔第1层中的所有超像素，使用它在金字塔中的所有子超像素以及它本身作为提取最大内接正方形的源区域，在源区域中通过距离变换近似地提取最大内接正方形，具体是找到具有最大距离值的像素点，并且以该点作为中心，以该像素点到达边界的最短距离值为半径作圆，再作出圆的内接正方形，该内接正方形就是该区域的最大内接正方形，在剩余的区域内继续提取的最大内接正方形，从而递归地提取出一定数量的最大内接正方形；

3)正方形区域的表达：将正方形区域划分为一个均匀分布的同心带，每一个带区域都使用一个量化的颜色直方图H描述，该颜色直方图H将RGB三个颜色通道都划分为16等分，这样，该颜色直方图H一共拥有4096个分布中心，每一个显著正方形的同心带都用H来表示，将显著正方形的所有同心带从内到外拼接成一个中心点更大的直方图，再经过归一化处理形成了一个更大的稀疏直方图；

4)显著正方形区域求解：对于一个超像素P，通过步骤1)～步骤3)，得到候选的最大内接正方形C_P，对所有候选的内接正方形依照面积大小使用降序排序，得到如下序列：

C_P＝{C₀，…，C_n}

通过自验证聚类方法从C_P中得到显著正方形S_P；

5)建立超像素BoS模型描述符：一个超像素P的BoS模型是一个带权显著正方形的集合：

其中，

S_P表示一个显著正方形的集合，|S_P|为超像素P中显著正方形的个数；

W_P是一个权重向量，代表了显著正方形的重要程度，它表示为：

$W_P={\left[\begin{array}{ccc}{\mathrm{\ω}}_0,& ...,& {\mathrm{\ω}}_{\left|S_P\right|}\end{array}\right]}^T.$

步骤4)所述的通过自验证聚类方法从C_P中得到显著正方形S_P是，首先，令S₀＝C₀，表示将面积最大的候选正方形当做一个显著正方形，并将它的权值赋值为1，同时定义表示距离S_P最远的显著正方形，对于C_P中的候选正方形C_i，我们将它与S_P中的每一个显著正方形的相似度和它与的相似度做比较，如果C_i与的距离大于C_i与S_P中的所有显著正方形的距离，我们将C_i作为一个新的显著正方形加入到S_P中，并且赋权值为1，记为<s_p,i,ω_i>，其中<s_p,i,ω_i>表示s_p,i所代表的权重，在初始时赋值为1；否则，C_i将被聚类到在S_P集合中距离它最近显著正方形中，并且该显著正方形的权值加1，在直方图空间中，其中，m表示稀疏直方图的中心个数，S表示S_P集合中每个显著正方形在直方图空间中向量表示的平均。

所述的对于两个超像素P和Q之间的相似度进行度量如下：

在上式中，p和q分别代表超像素P和Q中的显著正方形，和分别代表p和q对应的带权显著正方形的集合，S_P和S_Q分别代表p和q对应的显著正方形集合，H_p以及H_q代表与p和q相关的稀疏直方图，ω_p和ω_q分别代表相应的显著正方形的权重，Z是归一化因子，表示为：

$Z={\mathrm{\&Sigma;}}_{p\&Element;S_P,q\&Element;S_Q}{\mathrm{\&omega;}}_p{\mathrm{\&omega;}}_q$

Ba(H_p,H_q)是巴氏因子，表示为：

$Ba(H_p,H_q)={\mathrm{\&Sigma;}}_1^{4096}\sqrt{H_p\left(b\right)\&CenterDot;H_q\left(b\right)}$

由此得到：Sim(P,Q)最大值为1，Sim(P,Q)值越大表示两个超像素之间的相似性越高，其中，H_p(b)和H_q(b)表示H_p和H_q直方图中第b个区间的值，b表示区间的索引下标。

本发明的一种表示超像素以及度量超像素之间相似性的方法，可以更好地匹配超像素的特性、精确地捕获超像素的细节信息，以及合理地处理超像素分离与合并的多样性。本发明所给出的统一的超像素描述以及相似性度量的方法，可以使得计算机视觉等相关领域中基于超像素的特定应用算法，如图像分割、图像匹配等算法，更好地应对超像素的不规则性、分离—合并多样性以及多特征性的特征，从而得到更好的效果。

附图说明

图1是本发明一种表示超像素以及度量超像素之间相似性的方法的流程图；

图2是本发明BoS模型的直观示意图；

图3是MSRM方法与本发明方法应用在图像分割上的结果比较，其中第一、五列表示带有用户标记的原始图像，第二、六列代表使用传统MSRM分割方法得到的结果，第三、七列代表使用基于BoS模型分割后的结果,即为本发明分割的结果，第四、八列代表标准分割结果；白色模糊效果的区域代表背景区域，清晰显示的区域代表前景区域；

图4a是本发明的方法与其他算法的正确率的比较折线图；

图4b是本发明的方法与其他算法的查全率的比较折线图；

图4c是本发明的方法与其他算法的F1-measure的比较折线图；

图4a、图4b、图4c中带有圆圈的线表示基于BoS模型的分割，带有方框的线表示传统分割；

图5是本发明的验证尺度不变性示意图，其中，横坐标表示放缩因子，纵坐标表示相似度统计量，每一个放缩因子对应着图的上短横表示最大值，下短横表示最小值，圆点表示期望，矩形框表示方差，虚线表示众数；

图6是本发明的验证BoS模型的旋转不变性示意图，其中，横坐标表示旋转因子，纵坐标表示相似度统计量，每一个旋转因子对应着图的上短横表示最大值，下短横表示最小值，圆点表示期望，矩形框表示方差，虚线表示众数。

具体实施方式

下面结合实施例和附图对本发明的一种表示超像素以及度量超像素之间相似性的方法做出详细说明。

本发明的一种表示超像素以及度量超像素之间相似性的方法，对图像首先提取超像素，进而提取其BoS模型，并设计了基于BoS模型的度量方法，在保证算法较高正确率前提下，使得计算机视觉等领域中基于超像素的特定应用算法，如图像分割、图像匹配等，可以更好地应对超像素的不规则性、分离—合并多样性以及多特征性的特征。

本发明的一种表示超像素以及度量超像素之间相似性的方法，包括超像素BoS模型的构建和基于BoS模型的超像素相似度计算两个阶段。如图1所示：

第一阶段，进行超像素BoS构建：对于给定的输入图像，获取超像素建立超像素金字塔、提取最大内接正方形、显著正方形求解、建立超像素BoS描述符，包括如下步骤：

1)提取超像素建立超像素金字塔：通过标准SLIC算法^[1]产生第1层超像素；给定第i层的超像素P_i，我们通过检测第i+1层中超像素P_i+1的初始种子与超像素P_i的从属关系来产生第i+1层的超像素P_i+1；在第i+1层中，每一个初始种子产生的超像素只包含具有和种子具有相同标签的像素，使得第i+1层超像素P_i+1的边界严格落在第i层中产生该超像素的超像素的边界内；

2)提取超像素内最大内接正方形：为了保留超像素的特性，将BoS模型建立在超像素金字塔中的第一层超像素中，对于金字塔第1层中的所有超像素，使用它在金字塔中的所有子超像素以及它本身作为提取最大内接正方形的源区域，在源区域中通过距离变换^[1]近似地提取最大内接正方形，由于距离图像表示每一个像素点到达区域边界的最短距离，故具体是仅仅需要找到具有最大距离值的像素点，并且以该点作为中心，以该像素点到达边界的最短距离值为半径作圆，再作出圆的内接正方形，该内接正方形就是该区域的最大内接正方形，在剩余的区域内继续提取的最大内接正方形，从而递归地提取出一定数量的最大内接正方形；

3)正方形区域的表达：将正方形区域划分为一个均匀分布的同心带，每一个带区域都使用一个量化的颜色直方图H描述，该颜色直方图H将RGB三个颜色通道都划分为16等分，这样，该颜色直方图H一共拥有4096个分布中心^[2]，每一个显著正方形的同心带都可以用H来表示，将显著正方形的所有同心带从内到外拼接成一个中心点更大的直方图，再经过归一化处理形成了一个更大的稀疏直方图；

4)显著正方形区域求解：对于一个超像素P，通过步骤1)～步骤3)，得到候选的最大内接正方形C_P，对所有候选的内接正方形依照面积大小使用降序排序，得到如下序列：

C_P＝{C₀，…，C_n}

通过自验证聚类方法从C_P中得到显著正方形S_P；首先，令S₀＝C₀，表示将面积最大的候选正方形当做一个显著正方形，并将它的权值赋值为1，同时定义表示距离S_P最远的显著正方形，对于C_P中的候选正方形C_i，我们将它与S_P中的每一个显著正方形的相似度和它与的相似度做比较，如果C_i与的距离大于C_i与S_P中的所有显著正方形的距离，我们将C_i作为一个新的显著正方形加入到S_P中，并且赋权值为1，记为<s_p,i,ω_i>，其中<s_p,i,ω_i>表示s_p,i所代表的权重，在初始时赋值为1；否则，C_i将被聚类到在S_P集合中距离它最近显著正方形中，并且该显著正方形的权值加1，在直方图空间中，其中，m表示稀疏直方图的中心个数。

5)建立超像素BoS模型描述符：一个超像素P的BoS模型是一个带权显著正方形的集合：

其中，

S_P表示一个显著正方形的集合，|S_P|为超像素P中显著正方形的个数；

W_P是一个权重向量，代表了显著正方形的重要程度，它表示为：

$W_P={\left[\begin{array}{ccc}{\mathrm{\&omega;}}_0,& ...,& {\mathrm{\&omega;}}_{\left|S_P\right|}\end{array}\right]}^T.$

第二阶段，基于超像素BoS模型的超像素相似度计算，在获得超像素BoS模型描述符的基础上，对于两个超像素P和Q之间的相似度进行度量。具体如下：

在上式中，p和q分别代表超像素P和Q中的显著正方形，H_p以及H_q代表与p和q相关的稀疏直方图，ω_p和ω_q分别代表相应的显著正方形的权重，Z是归一化因子，表示为：

$Z={\mathrm{\&Sigma;}}_{p\&Element;S_P,q\&Element;S_Q}{\mathrm{\&omega;}}_p{\mathrm{\&omega;}}_q$

Ba(H_p,H_q)是巴氏因子，表示为：

$Ba(H_p,H_q)={\mathrm{\&Sigma;}}_1^{4096}\sqrt{H_p\left(b\right)\&CenterDot;H_q\left(b\right)}$

由此得到：Sim(P,Q)最大值为1，Sim(P,Q)值越大表示两个超像素之间的相似性越高。

本发明的一种表示超像素以及度量超像素之间相似性的方法，给出了一套完整的统一的超像素描述以及相似性度量的方法，该方法可以更加合理地表示超像素，并且精确地度量超像素之间的相似性。相比较现行的区域描述符，该方法可以更好地匹配超像素的特性、精确地捕获超像素的细节信息，以及合理地处理超像素分离与合并的多样性。使得计算机视觉领域中基于超像素的特定应用算法，如图像分割、图像匹配等，可以更好地应对超像素的不规则性、分离—合并多样性以及多特征性。

参考文献：

[1].R.Achanta,A.Shaji,K.Smith,A.Lucchi,P.Fua,andS.Susstrunk,“SLICsuperpixelscomparedtostate-ofthe-artsuperpixelmethods,”IEEETPAMI,vol.34,no.11,pp.2274–2282,2012

[2].J.F.Ning,L.Zhang,D.Zhang,andC.K.Wu,“Interactiveimagesegmentationbymaximalsimilaritybasedregionmerging,”PatternRecognition,vol.43,no.2,pp.445–456,2010.

Claims (4)

1.一种表示超像素以及度量超像素之间相似性的方法，其特征在于，包括两个阶段，第一阶段，进行超像素BoS构建：对于给定的输入图像，获取超像素建立超像素金字塔、提取最大内接正方形、显著正方形求解、建立超像素BoS描述符；第二阶段，基于超像素BoS模型的超像素相似度计算，在获得超像素BoS模型描述符的基础上，对于两个超像素P和Q之间的相似度进行度量，其中，BoS表示利用最大内接正方形对超像素进行描述、构建和相似度度量的一种方法。

2.根据权利要求1所述的一种表示超像素以及度量超像素之间相似性的方法，其特征在于，所述的第一阶段进行超像素BoS构建包括如下步骤：

1)提取超像素建立超像素金字塔：通过标准SLIC算法产生第1层超像素；给定第i层的超像素P_i，通过检测第i+1层中超像素P_i+1的初始种子与超像素P_i的从属关系来产生第i+1层的超像素P_i+1；在第i+1层中，每一个初始种子产生的超像素只包含具有和种子具有相同标签的像素，使得第i+1层超像素P_i+1的边界严格落在第i层中产生该超像素的超像素的边界内；

2)提取超像素内最大内接正方形：将BoS模型建立在超像素金字塔中的第一层超像素中，对于金字塔第1层中的所有超像素，使用它在金字塔中的所有子超像素以及它本身作为提取最大内接正方形的源区域，在源区域中通过距离变换近似地提取最大内接正方形，具体是找到具有最大距离值的像素点，并且以该点作为中心，以该像素点到达边界的最短距离值为半径作圆，再作出圆的内接正方形，该内接正方形就是该区域的最大内接正方形，在剩余的区域内继续提取的最大内接正方形，从而递归地提取出一定数量的最大内接正方形；

3)正方形区域的表达：将正方形区域划分为一个均匀分布的同心带，每一个带区域都使用一个量化的颜色直方图H描述，该颜色直方图H将RGB三个颜色通道都划分为16等分，这样，该颜色直方图H一共拥有4096个分布中心，每一个显著正方形的同心带都用H来表示，将显著正方形的所有同心带从内到外拼接成一个中心点更大的直方图，再经过归一化处理形成了一个更大的稀疏直方图；

4)显著正方形区域求解：对于一个超像素P，通过步骤1)～步骤3)，得到候选的最大内接正方形C_P，对所有候选的内接正方形依照面积大小使用降序排序，得到如下序列：

C_P＝{C₀，…，C_n}

通过自验证聚类方法从C_P中得到显著正方形S_P；

5)建立超像素BoS模型描述符：一个超像素P的BoS模型是一个带权显著正方形的集合：

其中，

S_P表示一个显著正方形的集合，|S_P|为超像素P中显著正方形的个数；

W_P是一个权重向量，代表了显著正方形的重要程度，它表示为：

$W_P={\&lsqb;{\mathrm{\&omega;}}_0,...,{\mathrm{\&omega;}}_{\left|S_P\right|}\&rsqb;}^T.$

3.根据权利要求2所述的一种表示超像素以及度量超像素之间相似性的方法，其特征在于，步骤4)所述的通过自验证聚类方法从C_P中得到显著正方形S_P是，首先，令S₀＝C₀，表示将面积最大的候选正方形当做一个显著正方形，并将它的权值赋值为1，同时定义表示距离S_P最远的显著正方形，对于C_P中的候选正方形C_i，我们将它与S_P中的每一个显著正方形的相似度和它与的相似度做比较，如果C_i与的距离大于C_i与S_P中的所有显著正方形的距离，我们将C_i作为一个新的显著正方形加入到S_P中，并且赋权值为1，记为<s_p,i,ω_i>，其中<s_p,i,ω_i>表示s_p,i所代表的权重，在初始时赋值为1；否则，C_i将被聚类到在S_P集合中距离它最近显著正方形中，并且该显著正方形的权值加1，在直方图空间中，其中，m表示稀疏直方图的中心个数，S表示S_P集合中每个显著正方形在直方图空间中向量表示的平均。

4.根据权利要求1所述的一种表示超像素以及度量超像素之间相似性的方法，其特征在于，所述的对于两个超像素P和Q之间的相似度进行度量如下：

在上式中，p和q分别代表超像素P和Q中的显著正方形，和分别代表p和q对应的带权显著正方形的集合，S_P和S_Q分别代表p和q对应的显著正方形集合，H_p以及H_q代表与p和q相关的稀疏直方图，ω_p和ω_q分别代表相应的显著正方形的权重，Z是归一化因子，表示为：

$Z={\&Sigma;}_{p\&Element;S_P,q\&Element;S_Q}{\mathrm{\&omega;}}_p{\mathrm{\&omega;}}_q$

Ba(H_p,H_q)是巴氏因子，表示为：

$Ba(H_p,H_q)={\mathrm{\&Sigma;}}_1^{4096}\sqrt{H_p\left(b\right)\&CenterDot;H_q\left(b\right)}$

由此得到：Sim(P,Q)最大值为1，Sim(P,Q)值越大表示两个超像素之间的相似性越高，其中，H_p(b)和H_q(b)表示H_p和H_q直方图中第b个区间的值，b表示区间的索引下标。