CN103942774A - 一种基于相似性传播的多目标协同显著区域检测方法 - Google Patents

Abstract

本发明公开了一种基于相似性传播的多目标协同显著区域检测方法，涉及多媒体信息处理和计算机视觉领域，所述方法包括以下步骤：对于输入的多幅图像文件，通过将每幅图像分割成超像素，对超像素间相似性进行两两度量，建立超像素相似性图模型；通过超像素相似性图模型实现图像间超像素相似矩阵二部图匹配；超像素级图模型相似性扩散，获取相似性图模型；通过相似性图模型计算显著图。本方法通过对输入的多幅图像中的多个目标进行协同显著性检测，提高了检测精度；通过并行化的相似性传播算法降低了运行速度，满足了实际应用中需要，根据实验结果表明，本发明提出的方法在更短的计算时间下，获得了更准确的检测结果。

Description

一种基于相似性传播的多目标协同显著区域检测方法

技术领域

本发明涉及多媒体信息处理和计算机视觉领域，特别涉及一种基于相似性传播的多目标协同显著区域检测方法，可用于在多个图像中，对多个目标进行协同显著性的检测。 

背景技术

目前在媒体计算领域中，在解决协同显著性检测等问题时，通过构建图模型，基于节点之间的相似度扩散，以及计算不同图像间内超像素之间相似性响应大小，来计算出最终检测区域。简单的来说，协同显著性检测是用来检测两幅图像或多幅图像间共同显著性的一种方法。 

现有技术中通常在图模型相似度扩散计算之后的结果上，通过计算一幅图像中的超像素在另一幅图像上的最大响应来产生最终协同显著性结果，即显著图。 

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足： 

首先，两幅图像或多幅图像内如果存在多个协同显著性目标，现有方法只能计算出协同显著性响应最大的一个目标，而其他同样是协同显著性的结果则不能被检测出。 

其次，现有方法不是自完备的，即：现有方法还需要依赖于单幅图像显著性检测方法的结果。 

再次，现有方法的相似性传播是基于串行的相似性传播方法，该计算非常耗时。 

最终，现有方法对于图像间的图模型的相似性匹配上，存在较多的不准确匹配。 

发明内容

本发明提供了一种基于相似性传播的多目标协同显著区域检测方法，本发明针对现有技术在多幅图像上对于多个目标的协同显著性检测方法的不足，提供一套实用的并行化自完备的多目标协同显著性技术，可以使用户方便地从多幅图像中快速的计算出多目标协同显著性的检测结果，详见下文描述： 

一种基于相似性传播的多目标协同显著区域检测方法，所述方法包括以下步骤： 

（1）对于输入的多幅图像文件，通过将每幅图像分割成超像素，对超像素间相似性进行两两度量，建立超像素相似性图模型； 

（2）通过超像素相似性图模型实现图像间超像素相似矩阵二部图匹配； 

（3）超像素级图模型相似性扩散，获取相似性图模型； 

（4）通过相似性图模型计算显著图。 

所述建立超像素相似性图模型的步骤具体为： 

1）对输入的多幅图像进行超像素分割，将每幅图像分割成n个超像素； 

2）对多个图像的所有像素，提取每个像素在三个颜色空间上的颜色特征，形成9维的颜色特征向量，对全部像素的颜色特征向量，采用k均值算法计算得到若干个在该9维颜色调整空间的中心点； 

3）对于第i个超像素的描述符，统计在超像素内的每个像素在上述的9维颜色特征上，距离上一步求出的哪一个中心点最近，得到一个直方图描述符对应于一个超像素在颜色特征上的特征描述； 

4）对于超像素i和超像素j之间的相似性从颜色特征和空间位置度量相似性； 

5）对图像内及图像间的超像素两两计算其相似性，最终得到的图模型记为G。 

所述图像间超像素相似矩阵二部图匹配的步骤具体为： 

记G={X,Y,B}为二部图，X,Y分别为节点集合，B为节点之间权重；其中X∪Y为图模型中节点，且以及 和表示实节点，D_x和D_y为虚节点，虚节点个数分别记为N和M，第i个节点和第j节点之间权重的集合为B_ij={b_ij},实节点之间的权重设为：b_ij=S_f(i,j),虚节点之间权重设为：b_ij=0，虚节点和实节点之间的权重设为：b_ij=η,η为实节点对间权重的平局值。 

所述计算显著图具体为： 

S_c(i)=(A_i+L_i)/2； 

其中，g(i)第i个超像素是前景的可能性，g(j)第j个超像素是前景的可能性；Z_i为第i个超像素的归一化度；p_i表示第i个超像素中心的二维横纵坐标；p_j表示第j个超像素中心的二维横纵坐标；σ为控制p_i、p_j之间距离的权重； 

其中， $L_i=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|p_k-{\mathrm{\μ}}_i\left|\right|}^2\·{\mathrm{\ω}}_{\mathrm{ik}}^c,$ p_k为第k个超像素的中心位置， ${\mathrm{\μ}}_i=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}^c{p}_k$ 表示第i个超像素按颜色特征下的加权均值的颜色上的平均位置，g(k)为得到第k个超像素是前景的可能性。 

本发明提供的技术方案的有益效果是：本方法通过对输入的多幅图像中的多个目标进行协同显著性检测，提高了检测精度；通过并行化的相似性传播算法降低了运行速度，满足了实际应用中需要，根据实验结果表明，本发明提出的方法在更短的计算时间下，获得了更准确的检测结果。 

附图说明

图1为基于相似性传播的多目标协同显著区域检测方法的流程图； 

图2为计算超像素描述符的示意图； 

图3(a)为初始的相似矩阵的示意图；图3(b)为相似性扩散之后的相似性矩阵； 

图4(a)为原始图像对；图4(b)为基于内聚力特性计算得到的显著图；图4(c)为基于局部分布特性计算得到的显著图；图4(d)为两个显著图结果融合后得到的最终显著图； 

图5(a)、图5(b)为原始输入的图像对；图5(c)和5(d)为本方法产生的显著图结果；图5(e)和图5(f)为现有技术产生的显著图结果。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。 

本发明提出了基于相似性传播的并行化自完备的多目标协同显著区域检测方法。与现有技术不同，本发明对图像间超像素相似矩阵，应用匈牙利算法进行二部图匹配，得到了匹配上更加准确的图模型；进而，应用并行化的相似性传播算法，在更少的时间内计算得到相似性传播结果；最终，根据局部分布特性和内聚力特性计算得出结果，即显著图。 

本发明属于多媒体计算机视觉领域，主要包括：超像素相似性图模型建立，二部图匹配，超像素间相似性扩散，协同显著性的显著图计算四部分，图1给出了该方法的流程图，该方法包括以下步骤： 

101：建立超像素相似性图模型； 

对于输入的多幅图像文件，通过将每幅图像分割成超像素，对超像素间相似性进行两两度量，建立超像素相似性图模型，具体包括以下主要步骤： 

1）超像素分割：对输入的多幅图像进行超像素分割，将每幅图像分割成n个超像素； 

2）像素的特征空间中心点计算：对多个图像的所有像素，提取每个像素在三个颜色空间（RGB[1]，Lab[2]，CMYK[3]）上的颜色特征，形成9维的颜色特征向量，对全部像素的颜 色特征向量，采用k均值算法[4]计算得到若干个（本发明实施例以100个为例进行说明，具体实现时，根据实际应用中的需要进行设定，本发明实施例对此不做限制）在该9维颜色调整空间的中心点； 

3）超像素描述符计算：对于第i（i小于等于n）个超像素的描述符，统计在超像素内的每个像素在上述的9维颜色特征上，距离上一步求出的哪一个中心点最近，这样得到一个直方图描述符对应于一个超像素在颜色特征上的特征描述。 

参见图2，图中对超像素内每一个像素统计和100个中心点中最近的中心点，得到最近中心点所对应的组索引号，在直方图将该组的值加1。 

4）超像素间相似性度量：对于超像素i和超像素j之间的相似性从两个方面进行度量：颜色和位置，颜色特征相似性：C(i,j)=exp(-χ²(c_i,c_j))，c_i,c_j分别为第i（i小于等于n）个超像素和第j个（j小于等于n）超像素的描述符，χ²(c_i,c_j)表示(c_i,c_j)之间的卡方距离；空间位置相似性：P(i,j)=exp(-||p_i-p_j||²)。 

其中，p_i表示第i个超像素中心的二维横纵坐标；p_j表示第j个超像素中心的二维横纵坐标。 

5）最终，超像素i和超像素j之间的相似性为：S_f(i,j)=αC(i,j)·βP(i,j)，α和β分别表示权重。 

6）超像素相似性图模型建立：依据上一步所述的超像素间图模型建立方法，对图像内及图像间的超像素两两计算其相似性，最终得到的图模型记为G。 

参见图3，(a)图为初始的相似矩阵，即，相似性图模型，(b)图为相似性扩散之后的相似性矩阵。可以从图中看出，经过相似性扩散，相似矩阵在准确的匹配上建立了更多的相似性匹配关系。 

102：图像间超像素相似矩阵二部图匹配： 

其中，记G={X,Y,B}为二部图，X,Y分别为节点集合，B为节点之间权重；其中X∪Y为图模型中节点，即对应于输入的不同图像中的超像素,且以及其中， 和表示实节点，D_x和D_y是为了保证X与Y节点数相等而加入的虚节点，虚节点个数分别记为N和M，第i个节点和第j节点之间权重的集合为B_ij={b_ij},其中：实节点之间的权重设为：b_ij=S_f(i,j),虚节点之间权重设为：b_ij=0，虚节点和实节点之间的权重设为：b_ij=η,其中η为实节点对间权重的平局值。 

103：超像素级图模型相似性扩散： 

通过如下公式： $S_p^{t+1}(a,b)=\frac{c}{\left|N\left(a\right)\right|\left|N\left(b\right)\right|}\underset{i=1}{\overset{\left|N\left(a\right)\right|}{\mathrm{\Σ}}}\underset{j=1}{\overset{\left|N\left(b\right)\right|}{\mathrm{\Σ}}}{S}_p^t(i,j),$ 去迭代的计算节点a和节点b之间的相似度,其中t为迭代次数，c为衰减因子，|N(a)|和|N(b)|表示a和b的在图模型中的邻居个数；表示第t次迭代时，节点i和j节点之间的相似度；通过上述的相似性扩散，得到最终相似性图模型S_p(i,j)。 

104：显著图计算： 

从相似性图模型中根据内聚力特性和局部分布特性，分别计算出对应的显著图，根据这两个特性分别计算显著图的具体方式如下： 

1）内聚力特性：根据如下公式计算协同显著性概率分布的前景模型： 

$F\left(j\right)=\frac{1}{Z}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{S}_p(i,j),j=1,\·\·\·,N,$

其中Z为保证的归一化项。在该协同显著性概率分布的前景模型下，可由公式：计算得到第i个超像素是前景的可能性g(i)=F^Ts_i，s_i为相似性图模型中的第i行行向量，T为转置。 

最终，根据公式：计算得到第i个超像素根据内聚力特性计算的协同显著图,其中g(j)为得到第j个超像素是前景的可能性，σ为控制p_i、p_j之间距离的权重，Z_i为第i个超像素的归一化度。依据上述的操作对每个超像素都计算协同显著性值；通过上述计算的所有协同显著性值获取第一协同显著图。 

2）局部分布特性：根据公式空间分布上的局部分布特性，其中p_k为第k个超像素的中心位置，表示第i个超像素按颜色特征下的加权均值的“颜色上”的平均位置，其中g(k)为得到第k个超像素是前景的可能性。依据上述的操作对每个超像素都计算协同显著性值；通过上述计算的所有协同显著性值获取第二协同显著图。 

3）通过第一、第二协同显著图生成最终的显著图：S_c(i)=(A_i+L_i)/2。 

参见图4，(a)图为原始图像对，(b)图为基于内聚力特性计算得到的显著图，(c)图为基于局部分布特性计算得到的显著图，(d)图为两个显著图结果融合后得到的最终显著图。 

下面以一个具体的实验来验证本方法的可行性，详见下文描述： 

使用一组图像对进行试验，分别使用现有技术的方法和本专利所提出的方法，对图像对进行协同显著区域检测，可以从结果（图5中）上看出，第一行为原始输入的图像对，第二行为本方法产生的显著图结果，第三行为现有技术方法产生的结果，采用本方法得到的效果更符合人类感知，对物体的边界保持的更好。 

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。 

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

参考文献： 

[1].Pascale,Danny."A review of rgb color spaces...from xyy to r’g’b’."Babel Color(2003). 

[2].Hunter,Richard S."Photoelectric color difference meter."Josa48.12(1958):985-993. 

[3].Galer,Mark,and Les Horvat.Digital Imaging:Essential  Skills.Taylor&Francis US,2005. 

[4].MacQueen,James."Some methods for classification and analysis of multivariate observations."Proceedings of the fifth Berkeley symposium on mathematical statistics and probability.Vol.1.No.281-297.1967。 

Claims (4)

1.一种基于相似性传播的多目标协同显著区域检测方法，其特征在于，所述方法包括以下步骤：

（1）对于输入的多幅图像文件，通过将每幅图像分割成超像素，对超像素间相似性进行两两度量，建立超像素相似性图模型；

（2）通过超像素相似性图模型实现图像间超像素相似矩阵二部图匹配；

（3）超像素级图模型相似性扩散，获取相似性图模型；

（4）通过相似性图模型计算显著图。

2.根据权利要求1所述的一种基于相似性传播的多目标协同显著区域检测方法，其特征在于，所述建立超像素相似性图模型的步骤具体为：

1）对输入的多幅图像进行超像素分割，将每幅图像分割成n个超像素；

2）对多个图像的所有像素，提取每个像素在三个颜色空间上的颜色特征，形成9维的颜色特征向量，对全部像素的颜色特征向量，采用k均值算法计算得到若干个在该9维颜色调整空间的中心点；

3）对于第i个超像素的描述符，统计在超像素内的每个像素在上述的9维颜色特征上，距离上一步求出的哪一个中心点最近，得到一个直方图描述符对应于一个超像素在颜色特征上的特征描述；

4）对于超像素i和超像素j之间的相似性从颜色特征和空间位置度量相似性；

5）对图像内及图像间的超像素两两计算其相似性，最终得到的图模型记为G。

3.根据权利要求1所述的一种基于相似性传播的多目标协同显著区域检测方法，其特征在于，所述图像间超像素相似矩阵二部图匹配的步骤具体为：

记G={X,Y,B}为二部图，X,Y分别为节点集合，B为节点之间权重；其中X∪Y为图模型中节点，且以及 和表示实节点，D_x和D_y为虚节点，虚节点个数分别记为N和M，第i个节点和第j节点之间权重的集合为B_ij={b_ij},实节点之间的权重设为：b_ij=S_f(i,j),虚节点之间权重设为：b_ij=0，虚节点和实节点之间的权重设为：b_ij=η,η为实节点对间权重的平局值。

4.根据权利要求1所述的一种基于相似性传播的多目标协同显著区域检测方法，其特征在于，所述计算显著图具体为：

S_c(i)=(A_i+L_i)/2；

其中，g(i)第i个超像素是前景的可能性，g(j)第j个超像素是前景的可能性；Z_i为第i个超像素的归一化度；p_i表示第i个超像素中心的二维横纵坐标；p_j表示第j个超像素中心的二维横纵坐标；σ为控制p_i、p_j之间距离的权重；

其中， $L_i=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\left|\right|p_k-{\mathrm{\μ}}_i\left|\right|}^2\·{\mathrm{\ω}}_{\mathrm{ik}}^c,$ p_k为第k个超像素的中心位置， ${\mathrm{\μ}}_i=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{ik}}^c{p}_k$ 表示第i个超像素按颜色特征下的加权均值的颜色上的平均位置，g(k)为得到第k个超像素是前景的可能性。