CN107909078B - 一种图间显著性检测方法 - Google Patents

一种图间显著性检测方法 Download PDF

Info

Publication number
CN107909078B
CN107909078B CN201710942099.0A CN201710942099A CN107909078B CN 107909078 B CN107909078 B CN 107909078B CN 201710942099 A CN201710942099 A CN 201710942099A CN 107909078 B CN107909078 B CN 107909078B
Authority
CN
China
Prior art keywords
image
depth
super pixel
super
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710942099.0A
Other languages
English (en)
Other versions
CN107909078A (zh
Inventor
雷建军
丛润民
侯春萍
彭勃
范晓婷
张静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710942099.0A priority Critical patent/CN107909078B/zh
Publication of CN107909078A publication Critical patent/CN107909078A/zh
Application granted granted Critical
Publication of CN107909078B publication Critical patent/CN107909078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种图间显著性检测方法，包括：将图像组中的彩色图、深度图调整成相同的大小，通过超像素分割获取超像素区域，并通过单图显著性检测，获取超像素区域的单图显著性值；通过相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系，并存储于匹配矩阵中；通过自适应加权策略将由多个特征计算得出的距离进行融合，得到评估两个图像之间的相似性的测度；超像素的图间显著性值为其他图像中的对应超像素的单图显著性值的加权和，通过图像相似性测度获取加权系数。本发明从超像素级和图像级两个尺度深入挖掘了图间对应关系，得到了图间显著性结果，为协同显著性检测等任务奠定了基础。

Description

一种图间显著性检测方法
技术领域
本发明涉及图像处理、立体视觉技术领域，尤其涉及一种图间显著性检测方法。
背景技术
人类通过视觉系统可以迅速定位感兴趣区域，进而精确定位、识别物体对象。人工智能技术的发展使得计算机具备了与人类视觉系统类似的检测、识别等功能，这也促进了计算机视觉学科的进步与发展。视觉显著性检测作为计算机视觉领域的一个重要分支，已获得学术界、工业界的广泛关注。显著区域通常包含人类感兴趣的重要目标或最能表达图像的内容，是能够在较短时间内将人的视觉注意力吸引过去的区域，而显著性检测就是找出这些感兴趣目标或区域的过程。人们对自然场景进行感知时，不仅可以获取物体的高度和宽度，而且能够辨别景物的远近，产生深度感，即自然景物的立体感。随着成像技术的进步和硬件设备的发展，人们可以轻而易举的获取深度信息，进而组成彩色-深度数据(RGBD数据)，这为立体视觉显著性研究提供了有力的数据支持。
近些年，随着大数据进程的不断深化和推进，图像、视频数据呈现井喷式增长，这使得人们在接受图像信息时不再从单一图像数据源进行获取，而是以图像组的形式同时对多张图像进行共同感知。协同显著性检测的任务就是从一组图像集合中提取共有的显著性目标，已广泛应用于协同分割、目标协同识别、图像检索以及图像简报生成等众多领域。如何同时获取图片集合中的共有信息成为决定协同显著性检测任务成败的关键。
Fu等人通过聚类构建了多图像之间的物体全局关联结构。Li等人结合两两图像对间的相似性排序，利用“最小生成树的图匹配”方法，得到图间显著性图。Zhang等人结合高层特征利用聚类的方法计算图间显著性。
发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：
现有技术中的方法往往仅能处理两幅图像，而不能同时获取多图之间的对应关系；现有方法通常缺少全局测度来确定图像级的对应关系。
发明内容
本发明通过对RGBD图像进行特征提取与分析，研究一种基于多特征匹配的图间显著性计算方法，为协同显著性检测提供有效的图间对应信息，详见下文描述：
一种图间显著性检测方法，所述检测方法包括以下步骤：
将图像组中的彩色图、深度图调整成相同的大小，通过超像素分割获取超像素区域，并通过单图显著性检测，获取超像素区域的单图显著性值；
通过相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系，并存储于匹配矩阵中；
通过自适应加权策略将由多个特征计算得出的距离进行融合，得到评估两个图像之间的相似性的测度；
超像素的图间显著性值为其他图像中的对应超像素的单图显著性值的加权和，通过图像间相似性的测度获取加权系数。
其中，所述多约束条件下的匹配关系具体为：
Figure BDA0001430893920000021
其中，
Figure BDA0001430893920000022
为第一候选匹配集合；
Figure BDA0001430893920000023
为第二候选匹配集合；
Figure BDA0001430893920000024
为第三候选匹配集合；
Figure BDA0001430893920000025
为超像素，
Figure BDA0001430893920000026
为与超像素
Figure BDA0001430893920000027
匹配的超像素。
其中，所述多个特征具体为：颜色特征、深度直方图特征和显著性直方图特征。
所述相似性的测度具体为：
Figure BDA0001430893920000028
其中，dci表示第i个颜色特征距离，i∈{1,2,3,4}分别对应RGB颜色直方图特征、纹理直方图特征、语义特征和GIST特征，dd和ds表示深度特征距离和显著性特征距离，αc、αd和αs分别对应为颜色、深度和显著性特征距离的加权系数。
进一步地，
1)三个加权系数总和应为1；
2)颜色距离和显著性距离给予相同的加权系数；
3)根据深度置信测度自适应确定深度距离权值：
Figure BDA0001430893920000029
进一步地，所述加权系数为：
Figure BDA0001430893920000031
其中，N表示图像组的图片个数，Nj表示图像Ij中的超像素个数，
Figure BDA0001430893920000032
表示第ith幅图像与第jth幅图像之间的相似性，
Figure BDA0001430893920000033
为超像素
Figure BDA0001430893920000034
的图间显著性值，
Figure BDA0001430893920000035
为超像素
Figure BDA0001430893920000036
与超像素
Figure BDA0001430893920000037
的匹配标号。
本发明提供的技术方案的有益效果是：
1、本发明有效提取了RGBD图像组的图间信息，从超像素级和图像级两个尺度深入挖掘了图间对应关系，得到了图间显著性结果，为协同显著性检测等任务奠定了基础；
2、本发明提出的图间显著性检测方法可以有效利用图间信息完整、准确地确定显著性目标；
3、本发明通过引入了深度置信测度降低了质量较差的深度图带来的负面影响，使得本发明在深度图不可靠时也可以取得较好的检测性能。
附图说明
图1给出了图间显著性的可视化结果。
其中，图a为原始RGB彩色图像；图b为原始深度图；图c为图间显著性结果。
图2给出了本发明提供的一种图间显著性检测方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
RGBD数据可以同时提供彩色和深度信息，丰富了数据类型，包含了更多的有效信息。当同时处理多张RGBD图像，图间关系的获取对显著性检测结果至关重要。准确、有效的图间关系可以辅助判别，提高检测准确性；反之，图间关系的引入犹如增加了干扰噪声，反而会降低算法的性能。
为此，本发明实施例提供了一种面向RGBD图像组的图间显著性计算方法，具体实现步骤如下：
实施例1
101：将图像组中的彩色图、深度图调整成相同的大小，通过超像素分割获取超像素区域，并通过单图显著性检测，获取超像素区域的单图显著性值；
102：通过相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系，并存储于匹配矩阵中；
103：通过自适应加权策略将由多个特征计算得出的距离进行融合，得到评估两个图像之间的相似性的测度；
104：超像素的图间显著性值为其他图像中的对应超像素的单图显著性值的加权和，通过图像间相似性的测度获取加权系数。
综上所述，本发明实施例通过上述步骤101-步骤104有效提取了RGBD图像组的图间信息，从超像素级和图像级两个尺度深入挖掘了图间对应关系，得到了图间显著性结果，为协同显著性检测等任务奠定了基础。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：将图像组中的RGB彩色图和深度图D调整成相同的大小，通过统一大小后的RGBD数据计算单图显著性图，获取单图显著性值；
即，以同组中出现频率最大的图像尺寸为基准，将图像组中的彩色图、深度图调整成相同的大小。设一个图像组中有N张RGB彩色图像
Figure BDA0001430893920000041
其对应的深度图记为
Figure BDA0001430893920000042
图片Ii经过SLIC(简单线性迭代聚类)超像素分割后获得了Ni个超像素区域，记为
Figure BDA0001430893920000043
其中，Di为第i幅深度图；
Figure BDA0001430893920000044
为超像素区域。
利用RGBD显著性检测方法(如DCMC(基于深度置信分析和多线索融合的立体显著性检测))计算图像组中每张图片的单图显著性图，记超像素区域
Figure BDA0001430893920000045
的单图显著性值为
Figure BDA0001430893920000046
其中，上述SLIC和DCMC算法均为本领域技术人员所公知，本发明实施例对此不做赘述，具体实现时，还可以采用其他的聚类和显著性检测方法，本发明实施例对此不做限制。
202：多约束条件下的超像素相似性匹配；
在超像素级上，结合相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系。
1)相似性约束；
本发明实施例利用颜色和深度线索来表示相似性约束，对于某些RGBD图像，深度图被噪声污染严重，如果直接引入模型计算，将会降低测度的准确性。因此，本发明实施例引入深度置信测度λd来评价深度图的质量，其定义如下：
λd＝exp((1-m)×CV×H)-1
其中，m表示归一化深度图的平均深度值，
Figure BDA0001430893920000051
为变异系数，θ为归一化深度图的标准方差，H为深度频率熵，表征了深度分布的随机性。深度置信测度λd越大，说明深度图越可靠。因此，本发明实施例将深度置信测度看作是深度信息引入量的控制器。
随后，定义了两个图像超像素之间的相似性矩阵
Figure BDA0001430893920000052
矩阵中的每个元素表示第ith和jth图片之间的特征相似性，计算公式如下：
Figure BDA0001430893920000053
其中，
Figure BDA00014308939200000523
为Lab颜色空间中超像素
Figure BDA00014308939200000522
的平均颜色值，
Figure BDA0001430893920000055
表示超像素
Figure BDA0001430893920000056
的平均深度值，
Figure BDA0001430893920000057
为深度图Di的深度置信测度，
Figure BDA0001430893920000058
为第j幅图像的第n个超像素区域，
Figure BDA0001430893920000059
为超像素
Figure BDA00014308939200000510
的平均Lab颜色值，
Figure BDA00014308939200000511
为超像素
Figure BDA00014308939200000512
的平均深度值，
Figure BDA00014308939200000513
为深度图Dj的深度置信测度，||·||2表示计算向量的2-范数，σ2为控制相似性强度的参数，实验中设置为0.1。
基于此相似性矩阵，在每个同组的其他图片中找到超像素
Figure BDA00014308939200000514
的Kmax个最近邻的超像素区域，并将这些超像素节点组合成
Figure BDA00014308939200000515
的第一候选匹配集合，记为
Figure BDA00014308939200000516
2)显著性一致性约束；
本发明实施例将利用步骤201得到的单图显著性结果构建一致性约束，即要求两个匹配超像素节点之间的单图显著性差异不能过大，进而确定如下第二候选匹配集合：
Figure BDA00014308939200000517
其中，
Figure BDA00014308939200000518
为超像素
Figure BDA00014308939200000519
的单图显著性值；
Figure BDA00014308939200000520
为超像素
Figure BDA00014308939200000521
的单图显著性值。
3)聚类约束；
受匹配超像素应该具有同样的类别属性的事实启发，本发明实施例引入聚类约束，即要求匹配超像素节点的聚类类别应该一致。首先，利用k-means++聚类方法将超像素节点
Figure BDA0001430893920000061
划分为K类
Figure BDA0001430893920000062
每一类的类中心记为
Figure BDA0001430893920000063
然后，计算两类超像素的类中心之间的欧式距离，进而确定基于聚类的匹配对应关系。
对于每个超像素节点
Figure BDA0001430893920000064
在每个同组的其他图片中确定一个具有最小欧式距离的超像素作为匹配超像素。设超像素
Figure BDA0001430893920000065
属于类
Figure BDA0001430893920000066
超像素
Figure BDA0001430893920000067
属于类
Figure BDA0001430893920000068
则超像素
Figure BDA0001430893920000069
类别级的最近邻超像素集合
Figure BDA00014308939200000610
定义为：
Figure BDA00014308939200000611
其中，
Figure BDA00014308939200000612
表示类别
Figure BDA00014308939200000613
和
Figure BDA00014308939200000614
的类中心之间的欧式距离，
Figure BDA00014308939200000615
即为第三候选匹配集合。
4)相似性匹配。
将三类候选集合融合后得到每个超像素的匹配关系，并将最终的匹配结果存储于匹配矩阵
Figure BDA00014308939200000616
中，其定义如下：
Figure BDA00014308939200000617
203：基于混合特征的图像相似性匹配；
受两个图像之间相似性越大则越有可能找到匹配区域的观察启发，本发明实施例提出了一种全图像大小的相似性测度，并将其作为加权系数计算图间显著性。
首先，作为常见的基本特征，本发明实施例引入颜色特征，主要包括以下四个方面：512维的RGB颜色直方图用于描述颜色分布特性；15维的纹理直方图特征用于表示图像的纹理分布；512维的GIST特征用于描述场景的空间结构；深层VGG网络生成的高层特征用于表示图像的语义信息。本发明实施例直接提取VGG16模型在ImageNet数据集上预先训练好的4096维第fc7层特征作为语义特征。
其中，上述GIST特征、深层VGG网络、VGG16模型、ImageNet数据集、以及fc7层特征均为本领域技术人员所公知的技术术语，本发明实施例在此不做赘述。
受到相似图像应该具有近似的深度分布和相近的显著性对象的启发，本发明实施例将深度和显著性直方图也是添加到特征池中以描述深度图和单图显著性图的分布特性。
1)对于GIST和语义特征，利用余弦距离计算特征差异，计算公式如下：
Figure BDA00014308939200000618
其中，fi表示第i张图片的特征向量，fj为第j张图片的特征向量，即语义或GIST特征。
2)对于其余特征则都利用卡方距离计算特征差异，计算公式如下：
Figure BDA0001430893920000071
其中，dim表示直方图分段数目，χ2(fi,fj)为特征的卡方距离，
Figure BDA0001430893920000072
为图像i对应特征的第k个分量，
Figure BDA0001430893920000073
为图像j对应特征的第k个分量。
最后，通过自适应加权策略将不同的特征距离融合得到评估两个图像之间的相似性测度如下：
Figure BDA0001430893920000074
其中，dci表示第i个颜色特征距离，i∈{1,2,3,4}分别对应颜色直方图特征、纹理直方图特征、语义特征和GIST特征，dd和ds表示深度特征距离和显著性特征距离，αc、αd和αs分别对应为颜色、深度和显著性特征距离的加权系数。相似性测度
Figure BDA0001430893920000075
数值越大，表明两张图片的相似性越大。
本发明实施例根据三个准则自动确定加权系数：(1)三个加权系数总和应为1；(2)为了简单起见，颜色距离和显著性距离给予相同的加权系数；(3)为了降低较差深度图带来的负面影响，根据深度置信测度自适应确定深度距离权值，具体公式如下：
Figure BDA0001430893920000076
其中，
Figure BDA0001430893920000077
为图像i和图像j的深度置信测度的最小值。
204：图间显著性检测。
通过超像素级的特征匹配和图像级相似性匹配，得到了多图之间的对应关系。因此，超像素的显著性值定义为其他图像中的对应超像素的单图显著性值的加权和。
步骤202得到的超像素级的特征匹配结果提供了不同图像超像素之前的对应关系，加权系数由步骤203得到的图像级的相似性的测度表示，具体公式如下：
Figure BDA0001430893920000081
其中，N表示图像组的图片个数，Nj表示图像Ij中的超像素个数，
Figure BDA0001430893920000082
表示第ith幅图像与第jth幅图像之间的相似性，
Figure BDA0001430893920000087
为超像素
Figure BDA0001430893920000083
的图间显著性值，
Figure BDA0001430893920000084
为超像素
Figure BDA0001430893920000085
与超像素
Figure BDA0001430893920000086
的匹配标号。
综上所述，本发明实施例通过上述步骤201-步骤204有效提取了RGBD图像组的图间信息，从超像素级和图像级两个尺度深入挖掘了图间对应关系，得到了图间显著性结果，为协同显著性检测等任务奠定了基础。
实施例3
下面结合具体的实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：
图1给出了飞机图像组的图间显著性结果。图a为原始RGB彩色图像，图b为原始深度图，图c为图间显著性结果。从图中可以看出，本方法可以有效利用图间信息确定显著性目标，检测到的显著性目标结构较完整，一致性较好。
而且本方法为了降低质量较差的深度带来的负面影响，引入了深度置信测度，以控制深度信息的比重。该措施可以使得算法在深度图不可靠时也可以取得较好的检测性能，如附图1最后一行所示。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种图间显著性检测方法，其特征在于，所述检测方法包括以下步骤：
将图像组中的彩色图、深度图调整成相同的大小，通过超像素分割获取超像素区域，并通过单图显著性检测，获取超像素区域的单图显著性值；
通过相似性约束、显著性一致性约束和聚类约束，将多图超像素之间的对应关系表示为多约束条件下的匹配关系，并存储于匹配矩阵中；
通过自适应加权策略将由多个特征计算出的距离进行融合，获取评估两个图像之间的相似性的测度；
超像素的图间显著性值为其他图像中的对应超像素的单图显著性值的加权和，通过图像间的相似性测度获取加权系数；
1)相似性约束：
基于相似性矩阵
Figure FDA0002900795970000011
其中，
Figure FDA0002900795970000012
为Lab颜色空间中超像素
Figure FDA0002900795970000013
的平均颜色值，
Figure FDA0002900795970000014
表示超像素
Figure FDA0002900795970000015
的平均深度值，
Figure FDA0002900795970000016
为深度图Di的深度置信测度，
Figure FDA0002900795970000017
为第j幅图像的第n个超像素区域，
Figure FDA0002900795970000018
为超像素
Figure FDA0002900795970000019
的平均Lab颜色值，
Figure FDA00029007959700000110
为超像素
Figure FDA00029007959700000111
的平均深度值，
Figure FDA00029007959700000112
为深度图Dj的深度置信测度，||·||2表示计算向量的2-范数，σ2为控制相似性强度的参数，在每个同组的其他图片中找到超像素
Figure FDA00029007959700000113
的Kmax个最近邻的超像素区域，并将这些超像素节点组合成
Figure FDA00029007959700000114
的第一候选匹配集合
Figure FDA00029007959700000115
2)显著性一致性约束：要求两个匹配超像素节点之间的单图显著性差异不能过大，确定第二候选匹配集合
Figure FDA00029007959700000116
其中，
Figure FDA00029007959700000117
为超像素
Figure FDA00029007959700000118
的单图显著性值；
Figure FDA00029007959700000119
为超像素
Figure FDA00029007959700000120
的单图显著性值；
3)聚类约束：超像素
Figure FDA00029007959700000121
属于类
Figure FDA00029007959700000122
超像素
Figure FDA00029007959700000123
属于类
Figure FDA00029007959700000124
则超像素
Figure FDA00029007959700000125
类别级的最近邻超像素集合
Figure FDA00029007959700000126
定义为：
Figure FDA00029007959700000127
其中，
Figure FDA00029007959700000128
表示类别
Figure FDA00029007959700000129
和
Figure FDA00029007959700000130
的类中心之间的欧式距离，
Figure FDA00029007959700000131
即为第三候选匹配集合；
4)相似性匹配：将三类候选集合融合后得到每个超像素的匹配关系，并将最终的匹配结果存储于匹配矩阵
Figure FDA00029007959700000132
Figure FDA0002900795970000021
所述多个特征具体为：颜色特征、深度直方图特征和显著性直方图特征；
所述相似性测度具体为：
Figure FDA0002900795970000022
其中，dci表示第i个颜色特征距离，i∈{1,2,3,4}分别对应RGB颜色直方图特征、纹理直方图特征、语义特征和GIST特征，dd和ds表示深度特征距离和显著性特征距离，αc、αd和αs分别对应为颜色、深度和显著性特征距离的加权系数；
(1)三个加权系数总和应为1；
(2)颜色距离和显著性距离给予相同的加权系数；
(3)根据深度置信测度自适应确定深度距离权值：
Figure FDA0002900795970000023
其中，
Figure FDA0002900795970000024
为深度图Di的深度置信测度，
Figure FDA0002900795970000025
为深度图Dj的深度置信测度。
2.根据权利要求1所述的一种图间显著性检测方法，其特征在于，所述加权系数由相似性测度表示：
Figure FDA0002900795970000026
其中，N表示图像组的图片个数，Nj表示图像Ij中的超像素个数，
Figure FDA0002900795970000027
表示第ith幅图像与第jth幅图像之间的相似性，
Figure FDA0002900795970000028
为超像素
Figure FDA0002900795970000029
的图间显著性值，
Figure FDA00029007959700000210
为超像素
Figure FDA00029007959700000211
与超像素
Figure FDA00029007959700000212
的匹配标号。
CN201710942099.0A 2017-10-11 2017-10-11 一种图间显著性检测方法 Active CN107909078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710942099.0A CN107909078B (zh) 2017-10-11 2017-10-11 一种图间显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710942099.0A CN107909078B (zh) 2017-10-11 2017-10-11 一种图间显著性检测方法

Publications (2)

Publication Number Publication Date
CN107909078A CN107909078A (zh) 2018-04-13
CN107909078B true CN107909078B (zh) 2021-04-16

Family

ID=61840295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710942099.0A Active CN107909078B (zh) 2017-10-11 2017-10-11 一种图间显著性检测方法

Country Status (1)

Country Link
CN (1) CN107909078B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255357B (zh) * 2018-08-03 2021-09-17 天津大学 一种rgbd图像协同显著性检测方法
CN113128519B (zh) * 2021-04-27 2023-08-08 西北大学 一种多模态多拼接的rgb-d显著性目标检测方法
CN115496975B (zh) * 2022-08-29 2023-08-18 锋睿领创(珠海)科技有限公司 辅助加权数据融合方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942774A (zh) * 2014-01-20 2014-07-23 天津大学 一种基于相似性传播的多目标协同显著区域检测方法
CN104103082A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种基于区域描述和先验知识的图像显著性检测方法
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
CN105869173A (zh) * 2016-04-19 2016-08-17 天津大学 一种立体视觉显著性检测方法
CN106780450A (zh) * 2016-12-06 2017-05-31 天津大学 一种基于低秩多尺度融合的图像显著性检测方法
CN106997478A (zh) * 2017-04-13 2017-08-01 安徽大学 基于显著中心先验的rgb‑d图像显著目标检测方法
CN107085848A (zh) * 2017-04-20 2017-08-22 安徽大学 一种rgb‑d图显著性的检测方法
CN107103326A (zh) * 2017-04-26 2017-08-29 苏州大学 基于超像素聚类的协同显著性检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025880B2 (en) * 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
CN103942774A (zh) * 2014-01-20 2014-07-23 天津大学 一种基于相似性传播的多目标协同显著区域检测方法
CN104103082A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种基于区域描述和先验知识的图像显著性检测方法
CN105869173A (zh) * 2016-04-19 2016-08-17 天津大学 一种立体视觉显著性检测方法
CN106780450A (zh) * 2016-12-06 2017-05-31 天津大学 一种基于低秩多尺度融合的图像显著性检测方法
CN106997478A (zh) * 2017-04-13 2017-08-01 安徽大学 基于显著中心先验的rgb‑d图像显著目标检测方法
CN107085848A (zh) * 2017-04-20 2017-08-22 安徽大学 一种rgb‑d图显著性的检测方法
CN107103326A (zh) * 2017-04-26 2017-08-29 苏州大学 基于超像素聚类的协同显著性检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Co-saliency detection via inter and intra saliency propagation;Chenjie Ge 等;《Signal Processing:Image Communication》;20160531;第44卷;69-83 *
Saliency Detection for Stereoscopic Images Based on Depth Confidence Analysis and Multiple Cues Fusion;Runmin Cong 等;《IEEE SIGNAL PROCESSING LETTERS》;20160630;第23卷(第6期);819-823 *
基于相似扩散的图像显著区域协同检测方法研究;谭志羽;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150615(第06期);I138-506 *

Also Published As

Publication number Publication date
CN107909078A (zh) 2018-04-13

Similar Documents

Publication Publication Date Title
CN105913456B (zh) 基于区域分割的视频显著性检测方法
CN111768336B (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN112132197B (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
KR100873638B1 (ko) 영상 처리 방법 및 장치
CN109583342A (zh) 基于迁移学习的人脸活体检测方法
EP2490171A1 (en) Clothing feature extraction device, person retrieval device, and processing method thereof
CN112329851B (zh) 一种图标检测方法、装置及计算机可读存储介质
CN107909078B (zh) 一种图间显著性检测方法
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN107909079B (zh) 一种协同显著性检测方法
CN112419295B (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN109255357B (zh) 一种rgbd图像协同显著性检测方法
TW201222288A (en) Image retrieving system and method and computer program product thereof
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN112712051B (zh) 对象跟踪方法、装置、计算机设备及存储介质
CN110390724B (zh) 一种带有实例分割的slam方法
CN111582278B (zh) 人像分割方法、装置及电子设备
CN108009549A (zh) 一种迭代协同显著性检测方法
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
CN106683074A (zh) 一种基于雾霾特性的图像篡改检测方法
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
CN111767839B (zh) 一种车辆行驶轨迹确定方法、装置、设备及介质
CN110852172B (zh) 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法
CN109167988B (zh) 一种基于d+w模型和对比度的立体图像视觉舒适度评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant