CN108009549A - 一种迭代协同显著性检测方法 - Google Patents

Abstract

一种迭代协同显著性检测方法，包括：对给定的RGBD图像组数据进行初始化，得到初始RGB显著性检测结果；补机制：通过深度传播和显著性传播实现初始RGB显著性检测结果的RGBD转换和优化；删机制：定义超像素级的相似性测度来表示两个超像素之间的关系，利用共有概率函数计算每个超像素区域属于共有区域的概率，得到协同显著性检测结果；迭代机制：判断迭代次数是否超过最大迭代次数，如果超过，则直接终止迭代，否则判断前后两次迭代输出结果的差异，如果差异小于预先设定的阈值，则中止迭代，否则进入下一次迭代过程。本发明可以准确提取图像组中的共有显著性目标，背景抑制能力强，显著性目标轮廓清晰，具有较好的可扩展性。

Description

一种迭代协同显著性检测方法

技术领域

本发明涉及图像处理、立体视觉技术领域，尤其涉及一种迭代协同显著性检测方法。

背景技术

人类视觉感知系统可以自动感知场景信息，定位重要目标和区域。视觉显著性检测技术希望通过模拟人类视觉感知系统使得计算机也具备自动定位显著性区域的能力。作为计算机视觉领域的一项重要预处理技术，视觉显著性检测已广泛应用于检测、编码、增强、压缩等领域。经过多年的发展，RGB图像的显著性检测技术已日趋成熟，许多算法获得了十分优异的性能。相比之下，面向RGBD图像的显著性检测技术起步较晚，相关算法尚不成熟。近年来，随着深度传感器的发展和成像技术的进步，RGBD数据的获取方式变得更加高效、便捷，这无疑为RGBD显著性检测技术提供了强大的数据支持。如何有效利用深度信息辅助视觉显著性检测成为当前研究的一个热点。

人类视觉感知系统就像一个过滤器，可以自动过滤场景中的无用信息，将注意力集中到显著性区域上并进行下一步处理。在计算机视觉领域，已经提出了许多显著性检测的方法来模拟人类的视觉感知系统，旨在使计算机可以自动捕获图像中最显著性、信息最丰富的区域。该技术已被广泛应用于各种视觉任务，如图像检索、感知增强、前景注释、图像分割、图像质量评估和图像重定向等。目前，现有的RGB图像显著性检测模型大多专注于从单一的RGB图像中检测出显著性对象，并已经获得了较好的算法性能。实际上，人类在对场景进行感知时，除了获取颜色、形状等外貌信息外，还可以感知场景的深度信息，即景深。随着成像设备的发展，场景深度数据的获取方式变得更加快捷、便利。这为针对RGBD数据的相关研究工作奠定了数据基础。作为彩色数据的补充，深度数据可以提供许多有效信息，如位置关系、目标形状等，进而提升任务性能。

大数据时代的来临，使得各种数据呈现井喷式增长。与以往不同，人们需要同时处理多幅图像或视频数据。近年来，作为一个新兴的和具有挑战性的新课题，协同显著性检测算法获得广泛的关注。协同显著性检测算法除了要求检测出显著性目标外，还要求其在多张图像中是共有的。因此，图像组中各图像之间的关系在协同显著性检测中起着至关重要的作用。

Fu等人利用融合多线索的聚类方法提取图像组中的共有显著性目标。Tao等人将低秩约束引入协同显著性检测中，提出图像组的共有显著性目标。Cong等人结合多约束匹配和交叉标签传播实现了RGBD协同显著性检测。Song等人基于Bagging聚类算法实现了RGBD图像的协同显著性检测。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术中的方法往往重新设计一种新的RGBD协同显著性检测模型，而未充分利用现有的RGB显著性检测算法；现有方法通常采用管状模型直接完成显著性检测，而缺少迭代循环优化机制。

发明内容

本发明提供了一种迭代协同显著性检测方法，本发明通过深入挖掘RGBD图像的深度信息，设计一种迭代的RGBD协同显著性检测模型，提取图像组中的共有显著性目标，详见下文描述：

一种迭代协同显著性检测方法，所述迭代协同显著性检测方法包括以下步骤：

对给定的RGBD图像组数据进行初始化，得到初始RGB显著性检测结果；

补机制：通过深度传播和显著性传播实现初始RGB显著性检测结果的RGBD转换和优化；

删机制：定义超像素级的相似性测度来表示两个超像素之间的关系，利用共有概率函数计算每个超像素区域属于共有区域的概率，得到协同显著性检测结果；

迭代机制：判断迭代次数是否超过最大迭代次数，如果超过，则直接终止迭代，否则判断前后两次迭代输出结果的差异，如果差异小于预先设定的阈值，则中止迭代，否则进入下一次迭代过程。

进一步地，所述深度传播用于引入深度信息，将初始RGB显著性检测结果转化为RGBD显著性图；所述显著性传播用于通过标签传播技术优化显著性结果，得到更加优异的RGBD显著性图。

其中，所述深度传播用于引入深度信息，将初始RGB显著性检测结果转化为RGBD显著性图具体为：

引入深度形状先验DSP作为一个深度信息加权项，并与初始RGB显著性结果融合得到RGBD显著性图。

其中，所述显著性传播用于通过标签传播技术优化显著性结果，得到更加优异的RGBD显著性图具体为：

基于显著性值将超像素区域划分为显著性种子超像素、背景种子超像素和不确定超像素

利用显著性种子超像素和背景种子超像素对不确定区域的标签进行传播优化。

进一步地，所述共有概率具体为：

某个超像素区域在同组图片中重复出现的概率，可以等价于一个超像素在其他图像中的最大匹配概率之和。

进一步地，所述协同显著性检测结果具体为：

其中，为超像素区域的删机制输出显著性值，为超像素区域优化后的RGBD显著性值，表示超像素区域的共有概率值。

其中，所述判断前后两次迭代输出结果的差异具体为：

其中，Π表示输出显著性图的像素个数，表示第t次迭代的删机制的输出显著性图，表示第t-1次迭代的删机制的输出显著性图。

本发明提供的技术方案的有益效果是：

1、本发明设计了一种迭代的RGBD协同显著性检测模型，可以准确提取图像组中的共有显著性目标，背景抑制能力强，显著性目标轮廓清晰；

2、本发明还可以将任意RGB显著性结果转化为RGBD协同显著性结果，具有较好的可扩展性。

附图说明

图1为一种迭代协同显著性检测方法的流程图；

图2为本发明的检测结果的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提出了一种迭代协同显著性检测方法，该框架以现有的RGB显著性结果作为初始化，利用一个循环修正模型实现了RGBD图像的协同显著性检测。该框架由三个互补机制组成：补机制通过图内的深度传播和显著性传播来增强显著性区域；删机制利用提取的图间约束关系抑制非共有的显著性区域；迭代机制以循环的方法获得更加均匀、一致的协同显著性结果，具体实现步骤如下：

101：对给定的RGBD图像组数据进行初始化，得到初始RGB显著性检测结果；

102：补机制：通过深度传播和显著性传播实现初始RGB显著性检测结果的RGBD转换和优化；

103：删机制：定义超像素级的相似性测度来表示两个超像素之间的关系，利用共有概率函数计算每个超像素区域属于共有区域的概率，得到协同显著性检测结果；

104：迭代机制：判断迭代次数是否超过最大迭代次数，如果超过，则直接终止迭代，否则判断前后两次迭代输出结果的差异，如果差异小于预先设定的阈值，则中止迭代，否则进入下一次迭代过程。

进一步，深度传播用于引入深度信息，将初始RGB显著性检测结果转化为RGBD显著性图；显著性传播用于通过标签传播技术优化显著性结果，得到更加优异的RGBD显著性图。

其中，深度传播用于引入深度信息，将初始RGB显著性检测结果转化为RGBD显著性图具体为：

引入深度形状先验DSP作为一个深度信息加权项，并与初始RGB显著性结果融合得到RGBD显著性图。

其中，显著性传播用于通过标签传播技术优化显著性结果，得到更加优异的RGBD显著性图具体为：

基于显著性值将超像素区域划分为显著性种子超像素、背景种子超像素和不确定超像素

利用显著性种子超像素和背景种子超像素对不确定区域的标签进行传播优化。

进一步地，共有概率具体为：

某个超像素区域在同组图片中重复出现的概率，可以等价于一个超像素在其他图像中的最大匹配概率之和。

综上所述，本发明实施例通过上述步骤101-步骤104深入挖掘RGBD图像的深度信息，设计一种迭代的RGBD协同显著性检测模型，提取图像组中的共有显著性目标，具有较好的可扩展性。

实施例2

下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

201：对给定的RGBD图像组数据进行初始化，得到初始RGB显著性检测结果；

设RGBD图像组中有N张RGB彩色图像和N张深度图像对每幅彩色图像利用SLIC(简单线性迭代聚类)方法得到N_i个超像素区域，记为

为了获得更加稳定、鲁棒的初始显著性结果，本方法通过加权平均的方法融合多种RGB显著性图，具体计算公式如下：

其中，为超像素区域的初始RGB显著性值，上标i为图像组的图像标号，表示利用第j种方法计算得到的超像素区域的RGB显著性值，M_i表示待融合的显著性结果个数。

202：补机制：通过深度传播和显著性传播实现初始RGB显著性检测结果的RGBD转换和优化；

补机制主要包括：深度传播过程和显著性传播过程。深度传播过程的作用是引入深度信息，将初始RGB显著性检测结果转化为RGBD显著性图。显著性传播过程的作用是通过标签传播技术优化显著性结果，得到更加优异的RGBD显著性图。

1)深度传播；

经观察发现，深度图通常具有以下特性：1)显著性目标具有较大的深度值；2)显著性目标的边界区域比较锐利、清晰；3)显著性目标的内部区域比较平滑、均匀。

因此，本发明实施例提出了一种深度信息描述子——深度形状先验(Depth ShapePrior，DSP)，并将其与初始RGB显著性结果融合得到RGBD显著性图。DSP算子的计算方法如下：

其中，表示超像素区域的DSP值，表示从第k个根种子点出发的超像素区域的DSP值，K为根种子点个数。

深度形状先验描述了深度图像中显著性目标的形状信息，可以将其作为一个深度信息加权项与RGB显著性结果融合得到RGBD显著性图。结合深度置信测度、DSP算子和RGB显著性图，超像素区域的RGBD显著性值可以定义为：

其中，为超像素区域的RGBD显著性值，为超像素区域的初始RGB显著性值，为深度图Dⁱ的深度置信测度，为超像素区域的DSP值。

2)显著性传播。

为了进一步优化初始RGBD显著性检测结果，本发明实施例利用标签传播方法进行优化。首先，基于显著性值将超像素区域划分为三组，分别为显著性种子超像素、背景种子超像素和不确定超像素。然后，利用两种确定类型的种子点(即背景种子和显著性种子)对不确定区域的标签进行传播优化。

首先，构建图模型Gⁱ＝(υⁱ,εⁱ)，其中，υⁱ代表超像素节点集合，εⁱ表示相邻节点之间的边集合。两个相邻超像素之间的关系矩阵定义为：

其中，为关系矩阵中的元素，为超像素的平均颜色向量，为超像素的平均颜色向量，为超像素的平均深度值，为超像素的平均深度值，||·||₂表示计算向量的2-范数，σ²＝0.1为控制相似性强度的参数，表示超像素节点的相邻节点集合，为超像素区域。

然后，对超像素节点的显著性值进行初始化，具体公式如下：

其中，为超像素区域的初始化显著性值，Ψ_F表示显著性种子超像素集合，Ψ_B表示背景种子超像素集合，为超像素区域的初始RGBD显著性值，为超像素区域。

初始化完成后，在图模型Gⁱ上更新每个不确定超像素的显著性值，计算方法如下：

其中，为关系矩阵中的元素，N_i为超像素个数，为超像素区域的初始化显著性值，为超像素区域优化后的RGBD显著性值。

203：删机制：计算相似性测度，利用共有概率得到RGBD协同显著性检测结果；

图间关系在协同显著性检测中起到了至关重要的作用，本发明实施例通过删机制对图像组的共有背景进行抑制，进而突出共有显著性目标。在删机制中，首先定义了超像素级的相似性测度来表示两个超像素之间的关系。然后，利用共有概率函数计算每个超像素区域属于共有区域的概率，进而得到协同显著性检测结果。

1)计算相似性测度；

考虑颜色、深度和显著性线索，计算两个超像素之间的相似性测度，计算公式如下：

其中，和分别表示超像素区域和超像素区域的颜色相似性、深度相似性和显著性相似性。相似性测度越大，说明两个超像素越相似。

2)计算共有概率。

本发明实施例将共有概率定义为某个超像素区域在同组图片中重复出现的概率，其概念可以等价于一个超像素在其他图像中的最大匹配概率之和。

首先，根据相似性测度确定每个超像素在同组其他图像中的最佳匹配区域，该过程可用如下公式进行描述：

其中，表示两个超像素的相似性测度，N_j为图像j的超像素个数，表示超像素区域在图像j中的最佳匹配区域，为超像素区域。

然后，利用如下公式计算共有概率：

其中，表示超像素区域的共有概率值，N为图像组中的图片个数，表示两个超像素的相似性测度。

最后，结合共有概率和优化后的RGBD显著性结果，得到删机制的输出结果如下：

其中，为超像素区域的删机制输出显著性值，为超像素区域优化后的RGBD显著性值，表示超像素区域的共有概率值。

204：迭代机制：重复补机制和删机制，直到满足中止条件，进一步优化结果。

为了获得更优越的协同显著性图，本发明实施例设计了一个迭代方案，以循环的方式多次迭代补机制和删机制，直到满足迭代中止条件为止。迭代之前，首先判断迭代次数是否超过最大迭代次数，如果超过，则直接终止迭代，否则判断第二中止条件。第二中止条件判断前后两次迭代输出结果的差异。如果差异小于预先设定的阈值，则中止迭代，否则进入下一次迭代过程。其表达式如下：

其中，Π表示输出显著性图的像素个数，表示第t次迭代的删机制的输出显著性图，表示第t-1次迭代的删机制的输出显著性图。经过多次迭代优化后，本发明实施例可以得到更加均匀、一致的RGBD协同显著性检测结果。

综上所述，本发明实施例通过上述步骤201-步骤204设计了一种迭代的RGBD协同显著性检测模型，可以准确提取图像组中的共有显著性目标，背景抑制能力强，显著性目标轮廓清晰。

实施例3

下面结合具体的试验，来验证实施例1和2中方法的可行性，详见下文描述：

图2给出了卡通人物图像组的RGBD显著性检测结果。第一行为原始的RGB图像，第二行为深度图像，第三行为协同显著性检测的真值图，第四行为本方法得到的结果。

在该图像组中，只有卡通人物是共有的显著性目标。从图中可以看出，本方法提出的检测方法可以准确提取图像组中的共有显著性目标，有效抑制图像组中的非共有显著性目标和背景区域，检测结果轮廓清晰，区域内部一致性较好。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种迭代协同显著性检测方法，其特征在于，所述迭代协同显著性检测方法包括以下步骤：

对给定的RGBD图像组数据进行初始化，得到初始RGB显著性检测结果；

补机制：通过深度传播和显著性传播实现初始RGB显著性检测结果的RGBD转换和优化；

删机制：定义超像素级的相似性测度来表示两个超像素之间的关系，利用共有概率函数计算每个超像素区域属于共有区域的概率，得到协同显著性检测结果；

迭代机制：判断迭代次数是否超过最大迭代次数，如果超过，则直接终止迭代，否则判断前后两次迭代输出结果的差异，如果差异小于预先设定的阈值，则中止迭代，否则进入下一次迭代过程。

2.根据权利要求1所述的一种迭代协同显著性检测方法，其特征在于，

所述深度传播用于引入深度信息，将初始RGB显著性检测结果转化为RGBD显著性图；

所述显著性传播用于通过标签传播技术优化显著性结果，得到更加优异的RGBD显著性图。

3.根据权利要求1所述的一种迭代协同显著性检测方法，其特征在于，所述深度传播用于引入深度信息，将初始RGB显著性检测结果转化为RGBD显著性图具体为：

引入深度形状先验DSP作为一个深度信息加权项，并与初始RGB显著性结果融合得到RGBD显著性图。

4.根据权利要求1所述的一种迭代协同显著性检测方法，其特征在于，所述显著性传播用于通过标签传播技术优化显著性结果，得到更加优异的RGBD显著性图具体为：

基于显著性值将超像素区域划分为显著性种子超像素、背景种子超像素和不确定超像素；

利用显著性种子超像素和背景种子超像素对不确定区域的标签进行传播优化。

5.根据权利要求1所述的一种迭代协同显著性检测方法，其特征在于，所述共有概率具体为：

某个超像素区域在同组图片中重复出现的概率，可以等价于一个超像素在其他图像中的最大匹配概率之和。

6.根据权利要求1所述的一种迭代协同显著性检测方法，其特征在于，所述协同显著性检测结果具体为：

<mrow> <msubsup> <mi>S</mi> <mrow> <mi>d</mi> <mi>e</mi> <mi>l</mi> </mrow> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>S</mi> <mrow> <mi>s</mi> <mi>p</mi> </mrow> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msubsup> <mi>P</mi> <mi>c</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <msubsup> <mi>r</mi> <mi>m</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> </mrow>

其中，为超像素区域的删机制输出显著性值，为超像素区域优化后的RGBD显著性值，表示超像素区域的共有概率值。

7.根据权利要求1所述的一种迭代协同显著性检测方法，其特征在于，所述判断前后两次迭代输出结果的差异具体为：

<mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mi>&amp;Pi;</mi> </mfrac> <mi>&amp;Sigma;</mi> <mo>|</mo> <msubsup> <mi>S</mi> <mrow> <mi>d</mi> <mi>e</mi> <mi>l</mi> </mrow> <mi>i</mi> </msubsup> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>-</mo> <msubsup> <mi>S</mi> <mrow> <mi>d</mi> <mi>e</mi> <mi>l</mi> </mrow> <mi>i</mi> </msubsup> <mo>(</mo> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>|</mo> <mo>)</mo> <mo>&amp;le;</mo> <mn>0.1</mn> </mrow>

其中，Π表示输出显著性图的像素个数，表示第t次迭代的删机制的输出显著性图，表示第t-1次迭代的删机制的输出显著性图。