CN109255357B - 一种rgbd图像协同显著性检测方法 - Google Patents

一种rgbd图像协同显著性检测方法 Download PDF

Info

Publication number
CN109255357B
CN109255357B CN201810879724.6A CN201810879724A CN109255357B CN 109255357 B CN109255357 B CN 109255357B CN 201810879724 A CN201810879724 A CN 201810879724A CN 109255357 B CN109255357 B CN 109255357B
Authority
CN
China
Prior art keywords
saliency
significance
image
global
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810879724.6A
Other languages
English (en)
Other versions
CN109255357A (zh
Inventor
雷建军
丛润民
郑泽勋
李重仪
徐立莹
张哲�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810879724.6A priority Critical patent/CN109255357B/zh
Publication of CN109255357A publication Critical patent/CN109255357A/zh
Application granted granted Critical
Publication of CN109255357B publication Critical patent/CN109255357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种RGBD图像协同显著性检测方法，所述方法包括：计算给定的RGBD图像组的图内显著性图；在图内显著性图的辅助下，图间对应关系被建模为一个层次化的稀疏重建框架，其中全局重建模型用于捕获图像组的全局特性，交互重建模型用于挖掘图像对之间的交互关系；将全局重建模型和交互重建模型的显著性结果融合，获取层次化的图间显著性结果；通过包含数据项、空间平滑性和全局一致项的能量函数，对图内显著性结果和层次化的图间显著性结果进行优化，得到最终的协同显著性检测结果。本发明可以准确提取图像组中的共有显著性目标，背景抑制能力强，显著性目标轮廓清晰。

Description

一种RGBD图像协同显著性检测方法
技术领域
本发明涉及图像处理、立体视觉技术领域，尤其涉及一种RGBD图像协同显著性检测方法。
背景技术
视觉注意力机制使得人们可以快速从复杂场景中定位出感兴趣区域或显著性目标。作为计算机视觉任务中的一个分支，显著性检测致力于使得计算机具备自动定位显著性区域的能力，已被广泛应用于各种视觉任务，如分割、重定向、增强、评价、检索、编码、压缩等。过去的10年时间见证了图像显著性检测领域的飞速发展和性能飞跃。实际上，人类在感知场景信息的时候，除了能够捕获目标的颜色、形状等外貌信息外，还可以感知场景的深度信息。随着成像设备的进步与发展，场景深度数据的获取方式变得更加快捷、便利。相比于RGB图像显著性检测任务，面向包含深度信息的RGBD图像的显著性检测任务起步相对较晚，相关技术尚不成熟。如何充分利用深度数据来辅助显著性目标判别是当前的一个研究热点。
此外，随着数据体量的井喷式增长，人们需要协同地同时处理多张相关图像。作为传统图像显著性检测的扩展，协同显著性检测旨在从包含多张图像的图像组中发现共有的显著性目标，即图像组中反复出现的显著性目标。该技术已被广泛应用于协同分割、协同定位、图像匹配中，研究前景广阔，意义重大。不同于图像显著性检测，协同显著性检测需要通过图间约束关系对图像组中显著性目标的共有属性进行甄别。换言之，协同显著性目标不仅是单张图像中相对于背景区域突出的目标，还应在整个图像组中反复出现。协同显著性检测是一个新兴的、具有挑战性的任务，现有算法也主要关注RGB图像的协同显著性目标检测，甚少进一步开发面向RGBD图像的协同显著性检测算法。
Li等人利用两阶段的显著性模型来指导协同显著性检测。Fu等人利用融合多线索的聚类方法提取图像组中的共有显著性目标。Tao等人将低秩约束引入协同显著性检测中。Cong等人提出了一种基于循环迭代的RGBD协同显著性检测模型。Song等人基于Bagging聚类算法实现了RGBD图像的协同显著性检测。
发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
现有技术大多利用匹配算法获取图间对应关系，虽然可以获得较好的准确性，但运算量较大，计算复杂度较高；现有基于聚类的算法以准确性换取了时效性，使得算法性能大打折扣；目前现有算法很难同时兼顾有效性和时效性。
发明内容
本发明提供了一种RGBD图像协同显著性检测方法，本发明通过深入挖掘RGBD图像之间的层次化图间关系，设计一种有效的RGBD图像协同显著性检测模型，提取图像组中的共有显著性目标，详见下文描述：
一种RGBD图像协同显著性检测方法，所述方法包括以下步骤：
计算给定的RGBD图像组的图内显著性图；
在图内显著性图的辅助下，图间对应关系被建模为一个层次化的稀疏重建框架，其中全局重建模型用于捕获图像组的全局特性，交互重建模型用于挖掘图像对之间的交互关系；
将全局重建模型和交互重建模型的显著性结果融合，获取层次化的图间显著性结果；
通过包含数据项、空间平滑性和全局一致项的能量函数，对图内显著性结果和层次化的图间显著性结果进行优化，得到最终的协同显著性检测结果。
进一步地，所述全局重建模型的构建过程具体为：选择初始前景种子点，考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选，获取具有较大一致性值的超像素作为最终前景种子点；
将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典，利用重建误差来测量图像的显著性；
获取超像素的全局图间显著性。
其中，所述考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选具体为：
利用K均值聚类将初始前景种子点集合中的超像素分为若干类，每个超像素对应一个类中心；
考虑类别、颜色、深度和显著性约束，获取初始前景种子点集合中的每个超像素的一致性测度；
根据阈值选择初始前景种子点集合中具有较大一致性值的超像素作为最终前景种子点。
其中，所述将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典的步骤之前，所述方法还包括：
采用颜色分量、深度属性、空间位置和纹理分布来对超像素进行特征表示。
进一步地，所述超像素的全局图间显著性具体为：
Figure BDA0001754175590000031
其中，
Figure BDA0001754175590000032
表示超像素
Figure BDA0001754175590000033
通过全局前景字典DGF重建得到的重建误差，
Figure BDA0001754175590000034
为超像素
Figure BDA0001754175590000035
的特征表示，
Figure BDA0001754175590000036
表示超像素
Figure BDA0001754175590000037
的最优稀疏系数，||·||2为2范数，σ2＝0.1是常数。
具体实现时，所述交互重建模型的构建过程具体为：
选择前K个具有较大图内显著性值的超像素区域作为种子点，提取特征向量，堆叠组合后得到N个交互前景字典；
利用图像Ik生成的交互前景字典
Figure BDA0001754175590000038
对图像Ii进行交互重建(k＝1,2,,N且k＝i)，获取超像素
Figure BDA0001754175590000039
的交互图间显著性。
其中，所述超像素
Figure BDA00017541755900000310
的交互图间显著性具体为：
Figure BDA00017541755900000311
其中，
Figure BDA00017541755900000312
表示超像素
Figure BDA00017541755900000313
通过交互前景字典
Figure BDA00017541755900000314
重建得到的重建误差，
Figure BDA00017541755900000315
表示超像素
Figure BDA00017541755900000316
由交互前景字典
Figure BDA00017541755900000317
重建时得到的最优稀疏系数，
Figure BDA00017541755900000318
为超像素
Figure BDA00017541755900000319
的特征表示。
优选地，所述能量函数具体为：
Figure BDA00017541755900000320
其中，
Figure BDA00017541755900000321
表示超像素rm优化后的显著性值，sm＝Sa(rm)·Sr(rm)表示超像素rm的初始显著性值，Sa(rm)为超像素rm的图内显著性值，Sr(rm)为超像素rm的层次化的图间显著性值，
Figure BDA00017541755900000322
为整个图像组中所有超像素的初始显著性值组成的向量，
Figure BDA00017541755900000323
为整个图像组中所有超像素的优化后的显著性值组成的向量，T为转置，
Figure BDA00017541755900000326
为图像组中所有图像所有超像素的总个数，Ω表示图内超像素的空间邻接关系，W为相似性矩阵，
Figure BDA00017541755900000324
为相似性矩阵W的度矩阵，
Figure BDA00017541755900000325
本发明提供的技术方案的有益效果是：
1、本发明设计了一种基于层次化稀疏重建的RGBD图像协同显著性检测模型，可以准确提取图像组中的共有显著性目标，背景抑制能力强，显著性目标轮廓清晰；
2、本发明采用稀疏重建框架进行显著性计算，算法运算复杂度较低，即在保证算法检测准确性的同时，有效提高了算法的时效性。
附图说明
图1为一种RGBD图像协同显著性检测方法的流程图；
图2为给出了本发明提出方法的检测结果的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提供了一种RGBD图像协同显著性检测方法，参见图1，该方法包括以下步骤：
101：在图内显著性图的辅助下，图间对应关系被建模为一个层次化的稀疏重建框架，其中全局重建模型用于捕获整个图像组的全局特性，交互重建模型用于挖掘图像对之间的交互关系；
102：为了进一步改善图内平滑性和图间一致性，利用一个包含数据项、空间平滑性和全局一致项的能量函数进行优化，得到最终的协同显著性检测结果。
其中，步骤101中的全局重建模型的构建过程具体为：
选择初始前景种子点，考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选，获取具有较大一致性值的超像素作为最终前景种子点；
将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典，利用重建误差来测量图像的显著性；
获取超像素的全局图间显著性。
进一步地，上述考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选具体为：
利用K均值聚类将初始前景种子点集合中的超像素分为若干类，每个超像素对应一个类中心；
考虑类别、颜色、深度和显著性约束，获取初始前景种子点集合中的每个超像素的一致性测度；
根据阈值选择初始前景种子点集合中具有较大一致性值的超像素作为最终前景种子点。
进一步地，上述将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典的步骤之前，所述方法还包括：
采用颜色分量、深度属性、空间位置和纹理分布来对超像素进行特征表示。
上述，步骤101中的交互重建模型的构建过程具体为：
选择前K个具有较大图内显著性值的超像素区域作为种子点，提取特征向量，堆叠组合后得到N个交互前景字典；
利用图像Ik生成的交互前景字典
Figure BDA0001754175590000051
对图像Ii进行交互重建(k＝1,2,…,N且k＝i)，获取超像素
Figure BDA0001754175590000052
的交互图间显著性。
综上所述，本发明实施例通过上述步骤设计了一种基于层次化稀疏重建的RGBD图像协同显著性检测模型，可以准确提取图像组中的共有显著性目标，背景抑制能力强，显著性目标轮廓清晰。
实施例2
下面结合图1-图2、具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：计算给定的RGBD图像组的图内显著性图；
其中，设RGBD图像组中有N张RGB彩色图像
Figure BDA0001754175590000053
和N张深度图像
Figure BDA0001754175590000054
利用SLIC(简单线性迭代聚类)方法将每幅RGB彩色图像划分为Ni个超像素区域，记为
Figure BDA0001754175590000055
然后，利用现有的DCMC(基于深度置信分析和多线索融合的立体显著性检测算法)计算得到每个超像素的图内显著性值，记为
Figure BDA0001754175590000056
表示超像素区域，上标i为图像组的图像标号。
202：全局图间显著性重建；
协同显著性目标在整个图像组中应该具有相似的外貌特征且属于同一类。因此，本发明实施例构建了一个全局的前景字典用以重建每幅图像，以此获得全局图间关系。
首先，基于上一步求得的图内显著性图选择初始前景种子点，然后根据排序算法排除干扰种子点，获得优化后的最终前景种子点，紧接着提取最终前景种子点的特征构建全局前景字典，最后利用稀疏重建框架下求得的重建误差来测量全局图间显著性。
1)初始前景种子点的选择
根据每张图像的图内显著性检测结果，选择前K＝40个具有较大显著性值的超像素区域作为图的初始前景种子点(即按照显著性值进行从大到小排序，截选前40个超像素区域，具体的数量根据实际应用中的需要进行设定，本发明实施例对此不做赘述)，整个图像组所有选择出的初始前景种子点集合记为
Figure BDA0001754175590000061
其中，
Figure BDA0001754175590000062
表示第N个图像的初始前景种子点。
2)基于排序的初始前景种子点的筛选
因为图内显著性结果不一定完全准确，所以在初始前景种子点集合中可能存在一些干扰，如非共有的显著性目标或少量的背景，因此需要对初始前景种子点集合进行进一步甄选，优化前景种子点。一般情况下，共有显著性目标满足三个约束关系：1)共有显著性目标的类别一定相同；2)共有显著性目标的颜色基本相同；3)共有显著性目标的深度基本相同。
因此，本发明实施例定义了一种新的测度用来评价属于初始前景种子点集合的超像素的局部一致性。
首先，利用K均值聚类方法将初始前景种子点集合中的超像素分为5类，每个超像素对应一个类中心，记为
Figure BDA0001754175590000063
N为图像组中图像个数，K为每个图像选取的初始前景超像素个数。然后，考虑类别、颜色、深度和显著性约束，初始前景种子点集合中的每个超像素的一致性测度定义为：
Figure BDA0001754175590000064
其中，cm表示超像素区域rm的类中心，cn表示超像素区域rn的类中心，rm,rn∈Φinit表示初始前景种子点集合中的超像素，Sa(rm)为超像素rm的图内显著性值，||·||2为2范数。
Figure BDA0001754175590000065
表示两个超像素区域的相似性，hm表示超像素区域rm的Lab颜色空间的直方图，hn表示超像素区域rn的Lab颜色空间的直方图，χ2表示卡方距离函数，λmin表示两个超像素区域所在深度图的置信度的最小值，dm为超像素rm的深度值，dn为超像素rn的深度值，σ2＝0.1是控制相似性程度的常数。
其中，一致性测度mc(rm)的数值越大，说明超像素rm与其他超像素相比具有较高的一致性，因而具有较大的可能性是真正的前景种子点。
最后，选择初始前景种子点集合中前80％(本发明实施例以该数值为例进行说明，具体的取值根据实际应用中的需要进行设定，本发明实施例对此不做赘述)具有较大一致性值的超像素作为最终前景种子点，该集合记为Φfin。
3)全局稀疏重建
为了更好的描述超像素特性，本发明实施例采用颜色分量、深度属性、空间位置和纹理分布来对超像素进行特征表示，每个超像素
Figure BDA0001754175590000071
的特征表示为
Figure BDA0001754175590000072
其中，l表示9维的颜色特征分量，d为1维深度值，p表示2维的空间位置坐标，t表示15维的纹理直方图。
将最终前景种子点集合Φfin中超像素的特征向量堆叠排列后得到全局前景字典，记为DGF。在同样的重建字典下，前景和背景的重建误差应该是不同的。因此，本发明实施例利用重建误差来测量图像的显著性。超像素
Figure BDA0001754175590000073
可以通过如下公式(2)进行编码：
Figure BDA0001754175590000074
其中，
Figure BDA0001754175590000075
表示超像素
Figure BDA0001754175590000076
的最优稀疏系数，DGF为全局前景字典，
Figure BDA0001754175590000077
为超像素
Figure BDA0001754175590000078
的特征表示，||·||2为2范数，||·||1表示1范数，ξ＝0.01是加权常数，
Figure BDA0001754175590000079
为超像素
Figure BDA00017541755900000710
的重建稀疏系数。
那么，超像素
Figure BDA00017541755900000711
的全局图间显著性可以定义为公式(3)：
Figure BDA00017541755900000712
其中，
Figure BDA00017541755900000713
表示超像素
Figure BDA00017541755900000714
通过全局前景字典DGF重建得到的重建误差，
Figure BDA00017541755900000715
为超像素
Figure BDA00017541755900000716
的特征表示，
Figure BDA00017541755900000717
表示超像素
Figure BDA00017541755900000718
的最优稀疏系数，||·||2为2范数，σ2＝0.1是常数。
203：交互图间显著性重建；
全局重建模块旨在从整个图像组的角度来描述图间关系。实际上，多图关系可以分解为多个图像对之间的交互对应关系，这有利于捕获局部的图间交互信息。为了深度挖掘图间对应关系，本发明实施例提出了一种交互稀疏重建方法来计算交互图间显著性。
首先，根据图内显著性结果分别为每幅图像构建一个前景字典。这样，整个图像组就可以得到N个前景字典，其中N表示整个图像组中的图像数目。然后，利用其它N-1个图像得到的前景字典对当前图像进行稀疏重建，得到N-1个显著性结果。最后，将N-1个交互显著性图融合得到当前图像的交互显著性图。
对于图像组中的每幅图像，选择前K个具有较大图内显著性值的超像素区域作为种子点，并采用与202中3)步骤同样的方法提取特征向量，堆叠组合后就可以得到N个交互前景字典，记为
Figure BDA0001754175590000081
假设利用由图像Ik生成的交互前景字典
Figure BDA0001754175590000082
对图像Ii进行交互重建，那么超像素
Figure BDA0001754175590000083
的交互图间显著性定义为：
Figure BDA0001754175590000084
其中，
Figure BDA0001754175590000085
表示超像素
Figure BDA0001754175590000086
通过交互前景字典
Figure BDA0001754175590000087
重建得到的重建误差，
Figure BDA0001754175590000088
表示超像素
Figure BDA0001754175590000089
由交互前景字典
Figure BDA00017541755900000810
重建时得到的最优稀疏系数，
Figure BDA00017541755900000811
为超像素
Figure BDA00017541755900000812
的特征表示，||·||2为2范数，σ2＝0.1是常数。
因此，当前图像Ii可以被同组中其他N-1个图像生成的N-1个字典分别重建，得到N-1个显著性结果，加权融合后得到最终的交互图间显著性结果：
Figure BDA00017541755900000813
其中，
Figure BDA00017541755900000814
表示超像素
Figure BDA00017541755900000815
由交互前景字典
Figure BDA00017541755900000816
重建时得到的交互图间显著性值，N为图像组中的图片个数。
最后，将全局和交互图间显著性结果融合得到层次化的图间显著性结果：
Figure BDA00017541755900000817
其中，
Figure BDA00017541755900000818
为超像素
Figure BDA00017541755900000819
的全局图间显著性值，
Figure BDA00017541755900000820
表示超像素
Figure BDA00017541755900000821
的交互图间显著性值。
204：基于能量函数的显著性修正。
为了进一步改善图内平滑性和图间一致性，本发明实施例提出了一种基于能量函数的优化策略，主要包括三个能量项：数据项Tu，用来约束更新后的显著性值不能与原始显著性值差别太大；图内平滑项Ts，用来约束图内相邻的近似超像素具有更加一致的显著性值；全局一致项Th，用来约束与全局前景超像素接近的区域的显著性值更接近于1。能量函数的表达式及矩阵形式如下：
Figure BDA0001754175590000091
其中，
Figure BDA0001754175590000092
表示超像素rm优化后的显著性值，sm＝Sa(rm)·Sr(rm)表示超像素rm的初始显著性值，Sa(rm)为超像素rm的图内显著性值，Sr(rm)为超像素rm的层次化的图间显著性值(即公式(6))，
Figure BDA0001754175590000093
为整个图像组中所有超像素的初始显著性值组成的向量，
Figure BDA0001754175590000094
为整个图像组中所有超像素的优化后的显著性值组成的向量，T为转置，
Figure BDA0001754175590000095
为图像组中所有图像所有超像素的总个数，Ω表示图内超像素的空间邻接关系，W为相似性矩阵，其中每个元素
Figure BDA0001754175590000096
amn表示两个超像素区域的相似性，
Figure BDA0001754175590000097
为相似性矩阵W的度矩阵(本领域技术人员所公知的专业术语，本发明实施例对此不做赘述)，
Figure BDA0001754175590000098
μi表示超像素ri与整个图像组的全局前景模型之间的颜色直方图的距离，全局前景模型利用初始协同显著性检测结果确定，每张图片中提取20个显著性值较大的超像素。
对能量函数进行求导后置0即可求解该能量方程，其显示解如下：
Figure BDA0001754175590000099
其中，
Figure BDA00017541755900000910
表示超像素rm优化后的显著性值，
Figure BDA00017541755900000911
表示
Figure BDA00017541755900000912
大小的单位矩阵。
综上所述，本发明实施例通过深入挖掘RGBD图像之间的层次化图间关系，设计一种有效的RGBD图像协同显著性检测模型，提取图像组中的共有显著性目标，满足了实际应用中的多种需要。
实施例3
下面结合图2对实施例1和2中的方案进行可行性验证，详见下文描述：
图2给出了一组RGBD协同显著性检测结果，其中卡通人物是共有显著性目标。第一列为原始的RGB图像，第二列为深度图像，第三列为协同显著性检测的真值图，第四行为本方法得到的结果。
从结果可以看出，本方法可以准确提取图像组中的共有显著性目标，对图像组中的非共有显著性目标和背景区域抑制效果好，轮廓清晰。
综上所述，本发明实施例采用稀疏重建框架进行显著性计算，算法运算复杂度较低，即在保证算法检测准确性的同时，有效提高了算法的时效性。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种RGBD图像协同显著性检测方法，其特征在于，所述方法包括以下步骤：
计算给定的RGBD图像组的图内显著性图；
在图内显著性图的辅助下，图间对应关系被建模为一个层次化的稀疏重建框架，其中全局重建模型用于捕获图像组的全局特性，交互重建模型用于挖掘图像对之间的交互关系；
将全局重建模型和交互重建模型的显著性结果融合，获取层次化的图间显著性结果；
通过包含数据项、空间平滑性和全局一致项的能量函数，对图内显著性结果和层次化的图间显著性结果进行优化，得到最终的协同显著性检测结果；
其中数据项用来约束更新后的显著性值不能与原始显著性值差别太大；图内平滑项用来约束图内相邻的近似超像素具有更加一致的显著性值；全局一致项用来约束与全局前景超像素接近的区域的显著性值更接近于1。
2.根据权利要求1所述的一种RGBD图像协同显著性检测方法，其特征在于，所述全局重建模型的构建过程具体为：
选择初始前景种子点，考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选，根据阈值选择初始前景种子点集合中具有较大一致性值的超像素作为最终前景种子点；
将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典，利用重建误差来测量图像的显著性；
获取超像素的全局图间显著性。
3.根据权利要求2所述的一种RGBD图像协同显著性检测方法，其特征在于，所述考虑类别、颜色、深度和显著性约束，计算一致性测度对初始前景种子点进行筛选具体为：
利用K均值聚类将初始前景种子点集合中的超像素分为若干类，每个超像素对应一个类中心；
考虑类别、颜色、深度和显著性约束，获取初始前景种子点集合中的每个超像素的一致性测度；
根据阈值选择初始前景种子点集合中具有较大一致性值的超像素作为最终前景种子点。
4.根据权利要求2所述的一种RGBD图像协同显著性检测方法，其特征在于，所述将最终前景种子点集合中超像素的特征向量堆叠排列后得到全局前景字典的步骤之前，所述方法还包括：
采用颜色分量、深度属性、空间位置和纹理分布来对超像素进行特征表示。
5.根据权利要求2所述的一种RGBD图像协同显著性检测方法，其特征在于，所述超像素的全局图间显著性具体为：
Figure FDA0003149387320000021
其中，
Figure FDA0003149387320000022
表示超像素
Figure FDA0003149387320000023
通过全局前景字典DGF重建得到的重建误差，
Figure FDA0003149387320000024
为超像素
Figure FDA0003149387320000025
的特征表示，
Figure FDA0003149387320000026
表示超像素
Figure FDA0003149387320000027
的最优稀疏系数，||·||2为2范数，σ2＝0.1是常数。
6.根据权利要求1所述的一种RGBD图像协同显著性检测方法，其特征在于，所述交互重建模型的构建过程具体为：
根据每张图像的图内显著性检测结果，按照显著性值进行从大到小排序，选择前K个超像素区域作为种子点，提取特征向量，堆叠组合后得到N个交互前景字典；
当前图像Ii可被同组中其他N-1个图像生成的N-1个字典分别重建，得到N-1个显著性结果；
利用图像Ik生成的交互前景字典
Figure FDA0003149387320000028
对图像Ii进行交互重建，k＝1,2,...,N且k≠i，获取超像素
Figure FDA0003149387320000029
的交互图间显著性。
7.根据权利要求6所述的一种RGBD图像协同显著性检测方法，其特征在于，所述超像素
Figure FDA00031493873200000210
的交互图间显著性具体为：
Figure FDA00031493873200000211
其中，
Figure FDA00031493873200000212
表示超像素
Figure FDA00031493873200000213
通过交互前景字典
Figure FDA00031493873200000214
重建得到的重建误差，
Figure FDA00031493873200000215
表示超像素
Figure FDA00031493873200000216
由交互前景字典
Figure FDA00031493873200000217
重建时得到的最优稀疏系数，
Figure FDA00031493873200000218
为超像素
Figure FDA00031493873200000219
的特征表示，||·||2为2范数，σ2＝0.1是常数。
8.根据权利要求1所述的一种RGBD图像协同显著性检测方法，其特征在于，所述能量函数具体为：
Figure FDA0003149387320000031
其中，
Figure FDA0003149387320000032
表示超像素rm优化后的显著性值，sm＝Sa(rm)·Sr(rm)表示超像素rm的初始显著性值，Sa(rm)为超像素rm的图内显著性值，Sr(rm)为超像素rm的层次化的图间显著性值，
Figure FDA0003149387320000033
为整个图像组中所有超像素的初始显著性值组成的向量，
Figure FDA0003149387320000034
为整个图像组中所有超像素的优化后的显著性值组成的向量，T为转置，
Figure FDA0003149387320000038
为图像组中所有图像所有超像素的总个数，Ω表示图内超像素的空间邻接关系，W为相似性矩阵，其中每个元素
Figure FDA0003149387320000035
amn表示两个超像素区域的相似性；
Figure FDA0003149387320000036
为相似性矩阵W的度矩阵，
Figure FDA0003149387320000037
μi表示超像素ri与整个图像组的全局前景模型之间的颜色直方图的距离。
CN201810879724.6A 2018-08-03 2018-08-03 一种rgbd图像协同显著性检测方法 Active CN109255357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810879724.6A CN109255357B (zh) 2018-08-03 2018-08-03 一种rgbd图像协同显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810879724.6A CN109255357B (zh) 2018-08-03 2018-08-03 一种rgbd图像协同显著性检测方法

Publications (2)

Publication Number Publication Date
CN109255357A CN109255357A (zh) 2019-01-22
CN109255357B true CN109255357B (zh) 2021-09-17

Family

ID=65048724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810879724.6A Active CN109255357B (zh) 2018-08-03 2018-08-03 一种rgbd图像协同显著性检测方法

Country Status (1)

Country Link
CN (1) CN109255357B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903276A (zh) * 2019-02-23 2019-06-18 中国民航大学 基于多层融合的卷积神经网络rgb-d显著性检测方法
CN110111357B (zh) * 2019-04-03 2023-02-07 天津大学 一种视频显著性检测方法
CN110189294B (zh) * 2019-04-15 2021-05-07 杭州电子科技大学 基于深度可信度分析的rgb-d图像显著性检测方法
CN111832592B (zh) * 2019-04-20 2023-10-24 南开大学 Rgbd显著性检测方法以及相关装置
CN110298782B (zh) * 2019-05-07 2023-04-18 天津大学 一种rgb显著性到rgbd显著性的转换方法
CN113159068B (zh) * 2021-04-13 2022-08-30 天津大学 一种基于深度学习的rgb-d显著性目标检测方法
CN114743027B (zh) * 2022-04-11 2023-01-31 郑州轻工业大学 弱监督学习引导的协同显著性检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392231B (zh) * 2014-11-07 2019-03-22 南京航空航天大学 基于分块与稀疏主特征提取的快速协同显著性检测方法
CN107169498B (zh) * 2017-05-17 2019-10-15 河海大学 一种融合局部和全局稀疏的图像显著性检测方法
CN107909078B (zh) * 2017-10-11 2021-04-16 天津大学 一种图间显著性检测方法
CN107909079B (zh) * 2017-10-11 2021-06-04 天津大学 一种协同显著性检测方法
CN108009549B (zh) * 2017-11-02 2021-06-04 天津大学 一种迭代协同显著性检测方法

Also Published As

Publication number Publication date
CN109255357A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN109255357B (zh) 一种rgbd图像协同显著性检测方法
Cong et al. Review of visual saliency detection with comprehensive information
Khan et al. Automatic shadow detection and removal from a single image
Shahrian et al. Improving image matting using comprehensive sampling sets
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
US7869648B2 (en) Object extraction based on color and visual texture
US9626585B2 (en) Composition modeling for photo retrieval through geometric image segmentation
CN111696028A (zh) 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
Ding et al. Point cloud saliency detection by local and global feature fusion
CN110111357B (zh) 一种视频显著性检测方法
CN108629783B (zh) 基于图像特征密度峰值搜索的图像分割方法、系统及介质
CN108596919B (zh) 一种基于深度图的自动图像分割方法
CN106157330B (zh) 一种基于目标联合外观模型的视觉跟踪方法
Qi et al. SaliencyRank: Two-stage manifold ranking for salient object detection
CN108230338A (zh) 一种基于卷积神经网络的立体图像分割方法
Hua et al. Depth estimation with convolutional conditional random field network
Zou et al. Unsupervised video matting via sparse and low-rank representation
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN108009549B (zh) 一种迭代协同显著性检测方法
Wang Image matting with transductive inference
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN109101978B (zh) 基于加权低秩矩阵恢复模型的显著性目标检测方法与系统
Garcia-Ugarriza et al. Automatic color image segmentation by dynamic region growth and multimodal merging of color and texture information
Wu et al. Stereo superpixel segmentation via dual-attention fusion networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant