CN105404888B - 结合颜色和深度信息的显著性目标检测方法 - Google Patents

结合颜色和深度信息的显著性目标检测方法 Download PDF

Info

Publication number
CN105404888B
CN105404888B CN201510781045.1A CN201510781045A CN105404888B CN 105404888 B CN105404888 B CN 105404888B CN 201510781045 A CN201510781045 A CN 201510781045A CN 105404888 B CN105404888 B CN 105404888B
Authority
CN
China
Prior art keywords
depth
color
saliency
salient object
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510781045.1A
Other languages
English (en)
Other versions
CN105404888A (zh
Inventor
童若锋
唐延龙
唐敏
张赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201510781045.1A priority Critical patent/CN105404888B/zh
Publication of CN105404888A publication Critical patent/CN105404888A/zh
Application granted granted Critical
Publication of CN105404888B publication Critical patent/CN105404888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合颜色和深度信息的显著性目标检测方法，包括：S1:输入双目图像，并计算左图的深度图；S2:利用区域颜色对比度方法计算左图初始的显著性图，然后基于深度图计算第二个显著性图；S3:把S2中的两个显著性图结合，产生一个滤除背景噪声的显著性图，从中提取显著性区域，并从中采样种子点，作为显著性物体位置的估计；S4：利用S3中的种子点，推断出显著性目标的边界，扩散出整个显著性物体。该发明能够显著提高显著性目标的检测效果。

Description

结合颜色和深度信息的显著性目标检测方法
技术领域
该发明涉及图像处理技术领域，特别涉及一种结合颜色和深度信息的显著性目标检测方法。
背景技术
显著性检测是计算机模拟人类视觉系统来理解图像场景的一种方式。当人眼观察一张图片时，总是会将注意力集中在一部分最感兴趣的区域上。显著性检测就是模拟这一过程，将不相关信息滤除，而突出显示最吸引人注意的前景区域。受不同的应用类型驱动，显著性检测又可以分为两个类别： 注视点预测和显著性目标检测。前者主要是预测图像中人眼注视的位置，主要应用于机器人定位，识别和广告学等。后者是让计算机自动地辨识出图像中最显著的物体，主要应用于感兴趣物体分割（专利200910046276, 200910081069）、物体识别、自适应图像压缩、内容敏感的图像缩放（专利200910092756）、图像检索（专利200910081069）等。
显著性目标检测越来越多地应用于许多计算机视觉预处理任务中，然而之前的方法并不是特别鲁棒，尤其是对于场景复杂，噪声较多的这种挑战性的场景。之前的基于单目图片的方法，主要是利用2D特征，比如颜色，方向来计算显著性，而没有引入深度特征。Lang等人的工作“Depth matters: Influence of depth cues on visual saliency”指出人类视觉系统和2D显著性计算范式稍有不同，人类评估一个场景中的显著性时总是会引入深度信息。
目前，已经有一些显著性检测方面的工作考虑到了深度信息。在注释点预测领域，Lang等人在工作“Depth matters: Influence of depth cues on visual saliency”中研究了人们在注释2D/3D场景时的差异，并提出了一个使用深度先验来改善显著性检测的模型；Fang等人在工作“Saliency detection for stereoscopic images”中利用双目图片提高显著性检测，该方法使用了从DCT系数中提取的四个特征（颜色，亮度，纹理，深度）；Ciptadi等人的工作“An in depthview of saliency”利用从深度图中恢复的三维结构和形状特征来计算显著性。在显著性目标检测领域，Niu等人的工作“Leveragingstereopsisfor saliency analysis”使用双目图像计算出来的深度信息来计算显著性，但是他们的计算范式中没有引入颜色信息。 Desingh等人的工作“Depth really matters: Improvingvisual salientregion detection with depth”混合传感器获得的深度信息和颜色信息来计算显著性，他们的方法主要针对室内场景，而且含有多个显著性物体和区域。
该领域内的相关专利有基于学习的视频中显著物体序列自动检测方法（专利号200810150324），基于色彩直方图和全局对比度的图像视觉显著性计算方法（专利号201110062520.1）。这些成果为我们结合颜色和深度信息的显著性目标检测方法提供了坚实的技术基础。
发明内容
本发明要解决的技术问题是：对于已知深度先验的复杂场景中，如何鲁棒性地将图像中最显著的物体均匀地凸现出来。
为解决上述技术问题，本发明提供了一种结合颜色和深度信息的显著性目标检测方法，包括以下步骤：
S1 : 输入双目图像，并计算左图的深度图；
S2 : 利用区域颜色对比度方法计算左图初始的显著性图，然后基于深度图计算第二个显著性图；
S3 : 把S2中的两个显著性图结合，产生一个滤除背景噪声的显著性图，从中提取显著性区域，并从中采样种子点，作为显著性物体位置的估计；
S4 ：利用S3中的种子点，推断出显著性目标的边界，扩散出整个显著性物体；
其中，所述步骤S2中，基于深度图计算的第二个显著性图计算公式如下：
其中，为像素点处的显著性值，表示显著性目标所处的深度位置（通过将中显著性区域的深度值进行加权平均计算得到），表示像素点的深度值，为调节因子。
其中，所述步骤S3中，显著性图的结合方式为：
其中，所述步骤S4中，利用随机游走方法推断显著性物体的边界，其边界信息编码于四连通无向图中，相邻节点i和j间的权重定义如下：
其中，和分别表示像素i处的深度特征（深度值）和颜色特征（颜色空间量化后的颜色值）,和分别为权重因子和调节因子，而且取值要使得深度特征的差异所占权重远大于颜色特征的差异。
本发明提出的显著性目标检测方法分为两个独立的步骤：显著性目标定位和显著性目标边界推断。每个步骤都是结合颜色和深度信息来增加鲁棒性与可靠性。本方法在构建的复杂场景数据集上进行测试，能够显著提高显著性目标的检测。
附图说明
图1是本发明方法的流程图。
图2是本发明的实施例图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明结合颜色和深度信息的显著性目标检测方法的流程图。流程包括显著性目标的定位和显著性目标边界推断两个大步骤，其中每个大步骤的进一步详细说明如下：
A．输入的双目图像。整个流程图以左图为准，双目图像用来计算深度图，以用于步骤C。深度图的计算，使用的方法为Smith等人的方法“Stereo matchingwithnonparametric smoothness priors in feature space”。
B．在左颜色图上利用区域颜色对比度计算显著性。该方法先利用颜色和深度对图片进行区域划分，然后利用Ming-Ming的方法“Global Contrast based Salient RegionDetection”计算初始的显著性图。
C. 在计算的左深度图上计算深度域上的显著性。基于深度图计算的第二个显著性图计算公式如下：
其中，为像素点处的显著性值，表示显著性目标所处的深度位置（通过将中显著性区域的深度值进行加权平均计算得到），表示像素点的深度值，为调节因子。
D. 将上述两显著性图融合得到滤除噪声的显著性区域，并从中提取显著性区域，采样种子点。显著性图的结合方式为：
E.利用颜色和深度编码场景中的边界信息，并利用计算的种子点推断显著性物体边界。利用随机游走方法推断显著性物体的边界，其边界信息编码于四连通无向图中，相邻节点i和j间的权重定义如下：
其中，和分别表示像素i处的深度特征（深度值）和颜色特征（颜色空间量化后的颜色值）,和分别为权重因子和调节因子，而且取值要使得深度特征的差异所占权重远大于颜色特征的差异。
显著性目标的种子点为D步骤所得到的种子点，背景种子点选为图像的四个角位置。
图2给出的实施例为本发明方法实践的直观的例子，帮助理解。
本发明公开的结合颜色和深度信息的显著性目标检测方法，通过显著性目标定位和显著性目标边界推断两个步骤来改善显著性检测效果。两个步骤中都分别结合颜色和深度信息来提高鲁棒性和可靠性。在第一个步骤中，基于区域颜色对比度的方法一般情况下能取得较好的效果，但是对于复杂场景会引入背景噪声，因此本发明在深度域上计算显著性，以此来滤除背景噪声。经过这一步骤，尽管背景噪声能滤除，但是目标物体往往只有一部分被高亮凸显，因此本方法引入第二步骤，来推断更加可靠的目标物体边界。本方法的效果在复杂图片场景的效果尤其明显，在构建的测试集中，该方法效果明显优于传统方法。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (3)

1.结合颜色和深度信息的显著性目标检测方法，其特征在于，包括以下步骤：
S1:输入双目图像，并计算左图的深度图；
S2:利用区域颜色对比度方法计算左图初始的显著性图Sc，然后基于深度图计算第二个显著性图Sd；
S3:把S2中的两个显著性图结合，产生一个滤除背景噪声的显著性图Sp，从中提取显著性区域，并从中采样种子点，作为显著性物体位置的估计；
S4：利用S3中的种子点，推断出显著性目标的边界，扩散出整个显著性物体；
所述步骤S2中，基于深度图计算的第二个显著性图计算公式如下：
Sd(i,j)＝exp(-||d(i,j)-dS||1/λ2)
其中，Sd(i,j)为像素点(i,j)处的显著性值，dS表示显著性目标所处的深度位置，dS通过将Sc中显著性区域的深度值进行加权平均计算得到，d(i,j)表示像素点(i,j)的深度值，λ2为调节因子。
2.根据权利要求1所述的结合颜色和深度信息的显著性目标检测方法，其特征在于：所述步骤S3中，显著性图的结合方式为：
Sp＝Sc×Sd。
3.根据权利要求1所述的结合颜色和深度信息的显著性目标检测方法，其特征在于：所述步骤S4中，利用随机游走方法推断显著性物体的边界，其边界信息编码于四连通无向图中，相邻节点i和j间的权重定义如下：
wij＝exp(-(||dfi-dfj||2+β||cfi-cfj||2)/α2)
其中，dfi和cfi分别表示像素i处的深度特征和颜色特征,β和α2分别为权重因子和调节因子，而且β取值要使得深度特征的差异所占权重远大于颜色特征的差异。
CN201510781045.1A 2015-11-16 2015-11-16 结合颜色和深度信息的显著性目标检测方法 Active CN105404888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510781045.1A CN105404888B (zh) 2015-11-16 2015-11-16 结合颜色和深度信息的显著性目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510781045.1A CN105404888B (zh) 2015-11-16 2015-11-16 结合颜色和深度信息的显著性目标检测方法

Publications (2)

Publication Number Publication Date
CN105404888A CN105404888A (zh) 2016-03-16
CN105404888B true CN105404888B (zh) 2019-02-05

Family

ID=55470364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510781045.1A Active CN105404888B (zh) 2015-11-16 2015-11-16 结合颜色和深度信息的显著性目标检测方法

Country Status (1)

Country Link
CN (1) CN105404888B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825238B (zh) * 2016-03-30 2019-04-30 江苏大学 一种视觉显著性目标的检测方法
WO2017173578A1 (zh) * 2016-04-05 2017-10-12 华为技术有限公司 一种图像增强方法及装置
CN105869172B (zh) * 2016-04-19 2018-08-10 天津大学 一种深度图可靠性评价测度方法
CN106096542B (zh) * 2016-06-08 2020-02-11 中国科学院上海高等研究院 基于距离预测信息的图像视频场景识别方法
WO2018023734A1 (zh) * 2016-08-05 2018-02-08 深圳大学 一种3d图像的显著性检测方法
CN106599828A (zh) * 2016-12-09 2017-04-26 上海电机学院 一种基于roi的红外图像检测方法
CN106780639B (zh) * 2017-01-20 2020-08-04 中国海洋大学 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN106952251B (zh) * 2017-02-28 2019-07-16 华南理工大学 一种基于吸附模型的图像显著性检测方法
CN107016682B (zh) * 2017-04-11 2020-03-31 四川大学 一种自然图像显著对象自适应分割方法
CN107437246B (zh) * 2017-07-05 2020-08-18 浙江大学 一种基于端到端全卷积神经网络的共同显著性检测方法
CN107292318B (zh) * 2017-07-21 2019-08-09 北京大学深圳研究生院 基于中心暗通道先验信息的图像显著性物体检测方法
CN107886533B (zh) * 2017-10-26 2021-05-04 深圳大学 立体图像的视觉显著性检测方法、装置、设备及存储介质
CN108154150B (zh) * 2017-12-18 2021-07-23 北京工业大学 一种基于背景先验的显著性检测方法
CN108320281B (zh) * 2018-01-19 2021-11-09 福建师范大学 一种基于多特征扩散的图像显著性检测方法及终端
CN110335216B (zh) * 2019-07-09 2021-11-30 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996195A (zh) * 2014-05-26 2014-08-20 清华大学深圳研究生院 一种图像显著性检测方法
CN104574366A (zh) * 2014-12-18 2015-04-29 华南理工大学 一种基于单目深度图的视觉显著性区域的提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996195A (zh) * 2014-05-26 2014-08-20 清华大学深圳研究生院 一种图像显著性检测方法
CN104574366A (zh) * 2014-12-18 2015-04-29 华南理工大学 一种基于单目深度图的视觉显著性区域的提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Depth really Matters Improving Visual Salient Region Detection with Depth;Karthik Desingh 等;《British Machine Vision Conference 2013》;20130131;2-3
融合深度信息的室内RGB图像视觉显著物体快速检测方法;林昌 等;《中国激光》;20141110;第41卷(第11期);1,5-7

Also Published As

Publication number Publication date
CN105404888A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
CN105404888B (zh) 结合颜色和深度信息的显著性目标检测方法
US11983893B2 (en) Systems and methods for hybrid depth regularization
Huang et al. Indoor depth completion with boundary consistency and self-attention
EP2087466B1 (en) Generation of depth map for an image
KR101537174B1 (ko) 스테레오스코픽 영상에서의 주요 객체 검출 방법
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
US20110148868A1 (en) Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection
US20080137989A1 (en) Arrangement and method for three-dimensional depth image construction
CN105869173A (zh) 一种立体视觉显著性检测方法
CN105374039B (zh) 基于轮廓锐度的单目图像深度信息估计方法
CN106997478B (zh) 基于显著中心先验的rgb-d图像显著目标检测方法
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
US20160364865A1 (en) Image processing device, image processing method, and program
CN108010075A (zh) 一种基于多特征联合的局部立体匹配方法
Huang et al. Toward naturalistic 2D-to-3D conversion
Wang et al. Stereoscopic image retargeting based on 3D saliency detection
KR20110021500A (ko) 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
Makris et al. Robust 3d human pose estimation guided by filtered subsets of body keypoints
El Ansari et al. Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS)
Iatsun et al. A visual attention model for stereoscopic 3D images using monocular cues
CN113989345A (zh) 一种深度图像处理方法、系统和电子设备
Yang et al. RIFO: Restoring images with fence occlusions
KR101626679B1 (ko) 2ｄ 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체
Mohaghegh et al. Single image depth estimation using joint local-global features

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant