CN107909079A - 一种协同显著性检测方法 - Google Patents

Abstract

一种协同显著性检测方法，包括：通过超像素分割算法对RGB图片进行分割，并将紧致显著性和前景显著性进行融合，得到图内显著性值；基于相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系，进而得到超像素间的匹配关系标号；通过自适应加权策略将由多个特征计算得出的距离进行融合，得到评估两个图像之间的相似性的测度；超像素的图间显著性值为其他图像中的对应超像素的单图显著性值的加权和，通过图像间相似性测度获取加权系数，得到图间显著性值；利用交叉标签传播联合优化图内、图间显著性值；将初始图内和图间显著性值、优化后的图内和图间显著性值进行加权融合得到最终的协同显著性结果。

Description

一种协同显著性检测方法

技术领域

本发明涉及图像处理、立体视觉技术领域，尤其涉及一种协同显著性检测方法。

背景技术

视觉显著性检测技术作为人工智能、计算机视觉领域的前沿技术，已广泛应用于图像检索、压缩、感知增强、图像重定向等众多视觉任务。随着大数据时代的来临，协同显著性检测技术方兴未艾，其目的在于同时检测多张图像中的共有显著性目标。

与传统的单图显著性检测模型不同，协同显著性检测模型旨在从包含两个或多个相关图像的图像组中发现共同的显著性物体，而这些目标的类别、内在特征和位置往往都是未知的。因此，协同显著性目标需同时包含两个特性：

1)对于单个图像来说，该目标区域应该是显著的；2)所有的协同显著性目标应该在多个图像之间具有近似的外貌特征。由于其优越的可扩展性，协同显著性检测技术已广泛应用于前景协同分割、对象协同检测以及图像匹配等任务。然而，现有的大多数协同显著性检测模型都集中在处理RGB图像，而针对RGBD图像的协同显著性检测工作相对较少。

随着成像技术的进步与发展，深度图的获取方式更加便捷，图像质量更加优越，使得针对RGBD图像的处理技术成为可能。而且，深度信息的引入有利于增强诸如识别、对象分割以及显著性检测等任务的性能。它减少了颜色描述符的歧义信息，增强了从复杂背景中识别对象的准确性。

基于协同多层图结构模型，Li等人提出了一种结合单图显著性图和图间显著性图的协同显著性检测方法，但该方法只适应于处理两幅图像，不能同时处理多张图片。Liu等人提出了基于层次化分割的协同显著性检测方法。Huang等人提出了一种基于多尺度低秩融合和高斯混合模型的协同显著性检测方法。Zhang等人将多个体学习嵌入自步学习框架中实现了协同显著性检测。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术中的方法通常缺少多尺度的图间关系获取方式；现有方法往往缺少联合优化图内和图间显著的方法。

发明内容

本发明提供了一种协同显著性检测方法，本发明针对RGBD图像，充分挖掘深度信息，利用多约束匹配提取图间信息，结合交叉标签传播联合优化图内和图间显著性结果，搭建一个协同显著性检测框架，提取图像组的共有显著性目标，详见下文描述：

一种协同显著性检测方法，所述检测方法包括以下步骤：

通过超像素分割方法对RGB图片进行分割，获取均匀、一致的超像素区域，利用基于深度置信测度和多线索融合的RGBD显著性检测，将紧致显著性和前景显著性进行融合，得到图内显著性值；

基于相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系，进而得到超像素间的匹配关系标号；

通过自适应加权策略将由多个特征计算得出的距离进行融合，得到评估两个图像之间的相似性的测度；超像素的图间显著性值为其他图像中的对应超像素的单图显著性值的加权和，通过图像间相似性的测度获取加权系数，得到图间显著性值；

利用交叉标签传播联合优化图内显著性值和图间显著性值；

将初始图内和图间显著性值、优化后的图内和图间显著性值进行加权融合得到最终的协同显著性结果。

其中，所述将紧致显著性值和前景显著性值进行融合，得到图内显著性值具体为：

其中，表示超像素的图内显著性值，为超像素的紧致显著性值，为超像素的前景显著性值。

其中，所述多约束条件下的匹配关系具体为：

其中，为超像素与超像素的匹配标号，为超像素由相似性约束得到的匹配集合，为超像素由显著性一致性约束得到的匹配集合，为超像素由聚类约束得到的匹配集合。

进一步地，所述多个特征具体为：颜色特征、深度直方图特征和显著性直方图特征。

其中，所述通过自适应加权策略将由多个特征计算得出的距离进行融合，得到评估两个图像之间的相似性的测度具体为：

其中，d_c、d_d和d_s分别表示颜色特征距离、深度特征距离和显著性特征距离，α_c、α_d和α_s分别对应为颜色、深度和显著性特征距离的加权系数。

进一步地，所述通过图像间相似性的测度获取加权系数，得到图间显著性值具体为：

其中，为超像素的图间显著性值，N表示图像组的图片个数，N_j表示图像I^j中的超像素个数，表示图像i与图像j之间的相似性，为超像素与超像素的匹配标号。

其中，所述利用交叉标签传播联合优化图内显著性值和图间显著性值具体为：

构建图模型，确定相邻超像素之间的关系矩阵；

利用图内显著性值为优化图间显著性值选取种子点，再利用优化后的图间显著性值为优化图内显著性值选取种子点。

本发明提供的技术方案的有益效果是：

1、本发明充分利用深度信息进行辅助判别，深入挖掘图间对应关系生成图间显著性图，进一步利用交叉标签传播优化结果，得到了稳定、完整的协同显著性检测结果；

2、本发明可以有效提取图像组的共有显著性目标，同时有效抑制复杂背景区域，获得较完整、一致性较好的显著性目标。

附图说明

图1为本发明提供的协同显著性检测模型的可视化结果；

图2为本发明提供的一种协同显著性检测方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为了准确、完整提取RGBD图像组的共有显著性目标，本发明实施例设计了一种协同显著性检测方法，参见图1和图2，具体实现步骤如下：

101：通过超像素分割方法对RGB图片进行分割，获取均匀、一致的超像素区域，利用基于深度置信测度和多线索融合的RGBD显著性检测，将紧致显著性和前景显著性进行融合，得到图内显著性值；

102：基于相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系，进而得到超像素间的匹配关系标号；

103：通过自适应加权策略将由多个特征计算得出的距离进行融合，得到评估两个图像之间的相似性的测度；超像素的图间显著性值为其他图像中的对应超像素的单图显著性值的加权和，通过图像间相似性的测度获取加权系数，得到图间显著性值；

104：利用交叉标签传播联合优化图内显著性值和图间显著性值；

105：将初始图内和图间显著性值、优化后的图内和图间显著性值进行加权融合得到最终的协同显著性结果。

综上所述，本发明实施例通过上述步骤101-步骤105充分利用深度信息进行辅助判别，深入挖掘图间对应关系生成图间显著性图，进一步利用交叉标签传播优化结果，得到了稳定、完整的协同显著性检测结果。

实施例2

下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

201：超像素分割；

设图像组中有N张RGB彩色图像其对应的深度图记为利用SLIC(简单线性迭代聚类)超像素分割方法对图片Iⁱ进行分割，分割后获得了N_i个均匀、一致的超像素区域，记为其中，Dⁱ为第i幅深度图；为超像素区域。

202：图内显著性计算；

图内显著性模型用于计算图像组内单张图片的显著性图，不涉及图间关系。在单张图片中，显著性目标通常表现出与背景区域截然不同的外貌特性，进而使得显著性目标突出出来。此外，深度信息作为颜色信息的补充，可以进一步增强目标识别的有效性，提高目标检测的准确率。因此，本发明实施例利用基于深度置信测度和多线索融合的RGBD显著性检测方法，将紧致显著性图和前景显著性图进行融合，得到图内显著性图，其核心计算公式如下：

其中，表示超像素的图内显著性值，为超像素的紧致显著性值，为超像素的前景显著性值。

203：图间显著性计算；

共有显著性目标除了在单图中显著外，还需要在图像组中具有一致性，即要求显著性目标在图像组中是共有的。因此，本发明实施例提取图像组中图像之间的对应关系，计算得到图间显著性图。

首先，在超像素级上，综合相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系，进而得到超像素间的匹配关系标号，其定义如下：

其中，为为超像素与超像素的匹配标号，为超像素由相似性约束得到的匹配集合，为超像素由显著性一致性约束得到的匹配集合，为超像素由聚类约束得到的匹配集合。如果超像素属于以上三个集合的交集，则说明该超像素与超像素相匹配，进而将匹配关系标号置1。

然后，在图像级上，利用颜色特征(包括颜色直方图、纹理直方图、语义特征和GIST特征)、深度直方图特征和显著性直方图特征计算得到两幅图像的特征距离，并采用自适应加权策略将不同的特征距离融合，得到评估两个图像之间的相似性的测度，其定义为：

其中，d_c、d_d和d_s分别表示颜色特征距离、深度特征距离和显著性特征距离，α_c、α_d和α_s分别对应为颜色、深度和显著性特征距离的加权系数。数值越大，表明两张图片的相似性越大。加权系数的计算公式如下：

其中，表示深度图Dⁱ的深度置信测度，为深度图D^j的深度置信测度，为图像i和图像j的深度置信测度的最小值。

最后，利用超像素级和图像级的相似性匹配关系，将超像素的显著性值定义为其他图像中的对应超像素的图内显著性值的加权和，具体公式如下：

其中，为超像素的图间显著性值，N表示图像组的图片个数，N_j表示图像I^j中的超像素个数，表示图像i与图像j之间的相似性，为超像素与超像素的匹配标号。

204：交叉标签传播优化；

为了获得更加准确、一致的显著性结果，本发明实施例将显著性图的优化看作是“标签传播”问题，通过利用两种确定类型的种子点(即背景种子和前景种子)对不确定区域的标签进行传播优化。本发明实施例提出的交叉标签传播方法以交叉的方式对图内和图间显著性图进行联合优化，也就是说传播的种子点是交叉相互作用的，具体步骤如下：

1)构建图模型，确定关系矩阵；

首先，构建图模型G＝(V,E)，其中，V代表节点集合，对应着图片中的超像素节点，E表示相邻节点之间的边的集合。为了减小相似超像素之间的测地线距离，本发明实施例认为位于图像边界的超像素之间是相邻的。然后，两个相邻超像素之间的关系矩阵定义为：

其中，为超像素的平均颜色向量，为超像素的平均深度值，||·||₂表示计算向量的2-范数，σ²＝0.1为控制相似性强度的参数，表示超像素节点的相邻节点集合，为超像素的平均颜色向量，为超像素的平均深度值。

2)交叉标签传播过程采用交叉选择种子点的方式，即利用图内显著性结果为优化图间显著性图选取种子点，利用图间显著性结果为优化图内显著性图选取种子点。考虑到图间显著性图计算过程中借鉴了图内显著性信息，本发明实施例先利用图内显著性结果去优化图间显著性图，然后再利用优化后的图间显著性结果去优化图内显著性图。以优化图内显著性图为例，介绍交叉标签传播过程如下：

a)确定前景标签种子点F、背景标签种子点B和待优化的不确定节点U；

因此，本发明实施例设计了两个确定标签种子点的阈值，其定义如下：

其中，表示超像素的图间显著性值，TF(S_inter)表示确定前景种子点的阈值，TB(S_inter)为确定背景种子点的分割阈值。

b)初始化节点显著性值；

如果超像素为前景种子点，则将其显著性值初始化为1；如果超像素为背景种子点，则将其显著性值初始化为0；否则，将超像素的显著性值初始化为图内显著性值，具体公式如下：

其中，为超像素的初始显著性值。

c)初始化完成后，在图模型上更新每个具有不确定标签的超像素显著性值，计算方法如下：

其中，为超像素的初始显著性值，为两个相邻超像素之间相似性，为超像素的CLP优化后的图内显著性值。

d)归一化得到交叉标签传播后的超像素节点的显著性值如下：

其中，norm为最大-最小归一化函数，为超像素的CLP优化后的归一化图内显著性值，为超像素的CLP优化后的图内显著性值。

其中，优化图间显著性图的过程与上述优化图内显著性图的过程大体相同，只需替换相应的显著性值即可，本发明实施例对此不做赘述。

205：协同显著性计算。

将初始图内和图间显著性图、优化后的图内和图间显著性图进行加权融合得到最终的协同显著性结果，计算公式如下：

其中，S_intra、S_inter、和分别对应初始图内和图间显著性图、优化后的图内和图间显著性图，为最终的协同显著性检测结果。

综上所述，本发明实施例通过上述步骤201-步骤205充分利用深度信息进行辅助判别，深入挖掘图间对应关系生成图间显著性图，进一步利用交叉标签传播优化结果，得到了稳定、完整的协同显著性检测结果。

实施例3

下面结合图1和图2，对实施例1和2中的方案进行可行性验证，详见下文描述：

图1给出了本方法的可视化检测结果。第一行为原始RGB彩色图像，第二行为对应的深度图，第三行为真值图，第四行为本方法得到的协同显著性检测结果。

从图1中可以看出，本方法可以有效提取图像组的共有显著性目标，即金发卡通人物，而且可以有效抑制复杂背景区域，获得较完整、一致性较好的显著性目标。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种协同显著性检测方法，其特征在于，所述检测方法包括以下步骤：

通过超像素分割方法对RGB图片进行分割，获取均匀、一致的超像素区域，利用基于深度置信测度和多线索融合的RGBD显著性检测，将紧致显著性和前景显著性进行融合，得到图内显著性值；

基于相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系，进而得到超像素间的匹配关系标号；

通过自适应加权策略将由多个特征计算得出的距离进行融合，得到评估两个图像之间的相似性的测度；超像素的显著性值为其他图像中的对应超像素的单图显著性值的加权和，通过图像间相似性测度获取加权系数，得到图间显著性值；

利用交叉标签传播联合优化图内显著性值和图间显著性值；

将初始图内和图间显著性值、优化后的图内和图间显著性值进行加权融合得到最终的协同显著性结果。

2.根据权利要求1所述的一种协同显著性检测方法，其特征在于，所述将紧致显著性和前景显著性进行融合，得到图内显著性值具体为：

<mrow> <msub> <mi>S</mi> <mrow> <mi>int</mi> <mi>r</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mn>0.5</mn> <mo>&amp;CenterDot;</mo> <msub> <mi>S</mi> <mrow> <mi>C</mi> <mi>S</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <mn>0.5</mn> <mo>&amp;CenterDot;</mo> <msub> <mi>S</mi> <mrow> <mi>F</mi> <mi>S</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> </mrow>

其中，表示超像素的图内显著性值，为超像素的紧致显著性值，为超像素的前景显著性值。

3.根据权利要求1所述的一种协同显著性检测方法，其特征在于，所述多约束条件下的匹配关系具体为：

<mrow> <mi>m</mi> <mi>l</mi> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>r</mi> <mi>n</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <msubsup> <mi>r</mi> <mi>n</mi> <mi>j</mi> </msubsup> <mo>&amp;Element;</mo> <mo>{</mo> <msub> <mi>&amp;Phi;</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>&amp;cap;</mo> <msub> <mi>&amp;Phi;</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>&amp;cap;</mo> <msub> <mi>&amp;Phi;</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>}</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

其中，为为超像素与超像素的匹配标号，为超像素由相似性约束得到的匹配集合，为超像素由显著性一致性约束得到的匹配集合，为超像素由聚类约束得到的匹配集合。

4.根据权利要求1所述的一种协同显著性检测方法，其特征在于，所述多个特征具体为：颜色特征、深度直方图特征和显著性直方图特征。

5.根据权利要求1所述的一种协同显著性检测方法，其特征在于，所述通过自适应加权策略将由多个特征计算得出的距离进行融合，得到评估两个图像之间的相似性的测度具体为：

其中，d_c、d_d和d_s分别表示颜色特征距离、深度特征距离和显著性特征距离，α_c、α_d和α_s分别对应为颜色、深度和显著性特征距离的加权系数。

6.根据权利要求1所述的一种协同显著性检测方法，其特征在于，所述通过图像间相似性的测度获取加权系数，得到图间显著性值具体为：

其中，为超像素的图间显著性值，N表示图像组的图片个数，N_j表示图像I^j中的超像素个数，表示图像i与图像j之间的相似性，为超像素与超像素的匹配标号。

7.根据权利要求1所述的一种协同显著性检测方法，其特征在于，所述利用交叉标签传播联合优化图内显著性值和图间显著性值具体为：

构建图模型，确定相邻超像素之间的关系矩阵；

利用图内显著性值为优化图间显著性值选取种子点，再利用优化后的图间显著性值为优化图内显著性值选取种子点。