CN104574375B - 结合彩色和深度信息的图像显著性检测方法 - Google Patents

结合彩色和深度信息的图像显著性检测方法 Download PDF

Info

Publication number
CN104574375B
CN104574375B CN201410814816.8A CN201410814816A CN104574375B CN 104574375 B CN104574375 B CN 104574375B CN 201410814816 A CN201410814816 A CN 201410814816A CN 104574375 B CN104574375 B CN 104574375B
Authority
CN
China
Prior art keywords
image
region
depth
value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410814816.8A
Other languages
English (en)
Other versions
CN104574375A (zh
Inventor
任健强
龚小谨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201410814816.8A priority Critical patent/CN104574375B/zh
Publication of CN104574375A publication Critical patent/CN104574375A/zh
Application granted granted Critical
Publication of CN104574375B publication Critical patent/CN104574375B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合彩色和深度信息的图像显著性检测方法，该方法包括：对待检测彩色图像进行超像素分割,在分割得到的每一个区域中结合深度和彩色特征计算区域对比度图,并利用深度信息得到深度先验图和方向先验图；融合区域对比度图,深度先验图和方向先验图,计算得到融合先验信息的对比度图；对融合先验的对比度图进行全局优化：执行法向内积加权的网页排名算法，并选取置信度高的区域作为采样区域，设计基于马尔科夫随机场模型的图像恢复问题，求解得到最终的显著性检测图。本发明挖掘了深度和方向信息对显著性的影响，与以往结合彩色和深度信息的图像显著性检测方法相比取得了更好的效果。

Description

结合彩色和深度信息的图像显著性检测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种结合彩色和深度信息的图像显著性检测方法。
背景技术
图像显著性检测是当前计算机视觉和模式识别领域的热点课题之一。研究发现人眼视觉机制总是能快速地提取图像中重要的,感兴趣的区域,进而对这些区域进行分析和处理,而基本不会处理图像中剩余的并不显著的区域。这个原理为计算机视觉领域研究者提供很多启示，即可以对图像中的显著区域进行检测，提取出图像中显著的目标进行后续处理，节省了对全图处理的时间，大大提高了图像处理的效率。因此，图像显著性检测可以广泛的应用在图像分割，目标识别和图像检索等领域。
图像显著性检测按照处理问题过程的不同，可以分为两类：自顶而下的检测和自底而上的检测。自顶而下的检测方法依赖于特定的检测任务，而自底而上的检测方法则完全基于图像本身的性质进行检测。大多数的显著性检测的计算模型均利用图像的颜色，纹理，梯度等信息，通过计算图像不同区域的特征对比度实现的。
然而，以往的图像显著性算法大部分仅在彩色图像上实现，没有利用场景的深度信息，而深度信息对于人类进行场景理解是至关重要的。随着彩色与深度结合的传感器的广泛应用，如何综合利用彩色和深度信息也日益成为图像显著性研究的热点方向。HouwenPeng等人利用彩色和深度特征计算局部的对比度，然后利用区域生长算法进行显著区域的聚类，最后利用物体位置的先验对结果进行改进，该方法仅将深度信息以及通过深度计算得到的法向信息作为颜色之外的图像特征分量，但对颜色信息对比不明显的物体检测效果不好。Ran Ju等人利用深度信息，计算视差图的各向异性中心—周边差异实现显著性的检测，但是没有与颜色信息相结合。Yuzhen Niu等人计算全局的视差对比度，并基于显著物体通常位于立体图像的视觉舒适区域这一假设实现显著性的分析，但是对于视差或深度对物体显著性影响的挖掘依然不够深入。
发明内容
本发明的目的在于克服上述现有技术的不足，充分利用深度信息的全局先验特征，改进结合彩色和深度信息的显著性检测效果。
本发明的目的是通过以下技术方案来实现的：一种结合彩色和深度信息的图像显著性检测方法，包括以下步骤：
(1)输入待检测彩色图像及其对应的深度信息D；待检测彩色图像由红、蓝、绿三个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；
(2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，对转换后得到的图像的每个像素提取5维向量(x,y,L,a,b),其中x表示图像中当前像素的水平坐标，y表示图像中当前像素的垂直坐标，L、a、b分别为颜色空间转换后三个颜色通道的数值，对图像所有像素对应的向量进行Meanshift聚类，实现图像的超像素分割，将图像分割成多块区域的集合R＝{ri；1≤i≤n,i∈Z},其中ri表示分割得到的第i个区域，n表示区域总数目，Z表示整数集合；
(3)对步骤1输入的深度信息D进行归一化操作，最远的深度值变换为1，最近的深度值变换为0，得到归一化后的深度图Dmap；
(4)结合拍摄图像的相机的参数，将步骤1输入的深度信息D转换为三维点云数据，并计算每个三维点与其邻域三维点所在平面的法向量，得到法向图N；
(5)对步骤2得到的图像超像素分割结果的每个区域ri(i＝1～n)提取特征fi＝[L(ri),a(ri),b(ri),μd(ri)]，其中L(ri)为区域ri内所有像素L的均值，a(ri)为区域ri内所有像素a的均值，b(ri)为区域ri内所有像素b的均值，d(ri)为变换后的深度图Dmap中区域ri的深度均值,μ的值由用户设定；
(6)对步骤2得到的区域集合，计算其中任意一对区域ri和rj(i≠j)之间的对比度C(ri,rj)，其描述如下：
其中exp(·)表示指数函数，xi表示区域ri重心的位置，σx的值由用户设定，||·||2表示L2范数；
(7)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤6中得到的对比度C(ri,rj)，计算该区域的区域对比度图Src，Src图像中区域ri的取值描述如下：
其中A(rj)表示区域rj的面积；
(8)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤5计算的区域深度均值d(ri)，计算深度先验图Sdp，Sdp图像中区域ri的取值描述如下：
(9)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤4得到的法向图N，计算区域ri的法向量均值作为该区域的法向量n(ri)，进而计算方向先验图Sop，Sop图像中区域ri的取值描述如下：
Sop(ri)＝<z,n(ri)> (4)
其中z表示沿着光轴方向的单位矢量，<·>表示向量的内积运算；
(10)结合步骤7,8,9得到的区域对比度图Src、深度先验图Sdp和方向先验图Sop，计算得到融合先验信息的对比度图Sirc，其描述如下：
Sirc＝Src·Sdp·Sop (5)
(11)对步骤2得到的区域集合中的每一个区域ri(i＝1～n),以步骤10中的得到的融合先验信息的对比度图Sirc作为区域显著度的初始值，进行法向内积加权的网页排名(PageRank)算法，得到更新后的显著度值Spr，其描述如下：
其中N(i)表示与区域ri邻接的区域的标号集合；
(12)将步骤11得到的更新后的显著度值按照区域标号排序，组成列向量Spr＝[Spr(r1),Spr(r2),…,,Spr(rn)]T，构建基于马尔科夫随机场模型的图像恢复优化问题，并用最小二乘算法求解；优化问题描述如下：
其中M表示采样矩阵，对Spr中数值大小为前t％和后t％的元素所在位置进行采样,Si表示向量S中第i个元素，S*为最后的优化结果；其中，t,α和σf取值由用户设定；
(13)将步骤12得到的优化结果S*中第i个元素的数值作为区域ri的显著性值，将显著性值归一化并平方之后得到显著性图像；
(14)对显著性图像进行中心偏移运算，得到最终的显著性图像。
进一步地，步骤3中进行归一化操作的方法如下：对深度信息D中各个像素点的原始深度值分别作为x代入下述公式：
y＝(x-MinValue)/(MaxValue-MinValue)
y表示归一化后各个像素的深度值，MinValue和MaxValue分别为深度信息D中各个像素点原始深度值的最小值和最大值。
进一步地，步骤4中结合拍摄图像的相机的参数，将步骤1输入的深度信息D转换为三维点云数据的过程如下:
Z＝D(x,y)；
X＝(x-cx)×Z/fx；
Y＝(y-cy)×Z/fy；
cx表示光轴中心的水平像素坐标,cy表示光轴中心的垂直像素坐标,fx表示相机水平方向的焦距,fy表示相机垂直方向的焦距；通过上述公式将深度信息D中(x,y)对应的像素点转换为三维点云数据(X,Y,Z)。
进一步地，步骤13中进行归一化操作的方法如下：对各个像素对应的显著性值分别作为x代入下述公式：
y＝(x-MinValue)/(MaxValue-MinValue)
y表示归一化后各个像素的显著性值，MinValue和MaxValue分别为各个像素显著性值的最小值和最大值。
进一步地，步骤14中进行中心偏移的方法如下：利用二维高斯函数产生一个高斯模板图像，高斯函数的方差大小由用户设定，将高斯函数模板尺寸缩放为显著性图像的尺寸大小并进行归一化，之后与显著性图像相乘，得到最终的显著性图像。
本发明具有的有益效果是：本发明充分挖掘了深度信息，通过深度信息计算深度先验图和方向先验图，并利用了两个先验假设，一是距离观察者近的物体更容易受到关注，二是表面法向正对着观察者的物体更容易受到关注。通过使用这两个先验，本发明方法相比现有的图像显著性检测方法的表现结果更好。
附图说明
图1为本发明结合彩色和深度信息的图像显著性检测方法的流程图。
图2为采用现有图像显著性检测方法与本发明方法进行第一实例图像显著性检测后的图像对比图。(a)为待检测彩色图像，(b)为深度信息，(c)为RC算法得到的显著性图像，(d)为Robust Background Detection算法得到的显著性图像，(e)为ACSD算法得到的显著性图像，(f)为Houwen Peng等人算法得到的显著性图像,(g)为本发明算法得到的显著性图像，(h)为人眼标示的显著性图像；
图3为采用现有图像显著性检测方法与本发明方法进行第二实例图像显著性检测后的图像对比图。(a)为待检测彩色图像，(b)为深度信息，(c)为RC算法得到的显著性图像，(d)为Robust Background Detection算法得到的显著性图像，(e)为ACSD算法得到的显著性图像，(f)为Houwen Peng等人算法得到的显著性图像,(g)为本发明算法得到的显著性图像，(h)为人眼标示的显著性图像；
图4为采用现有图像显著性检测方法与本发明方法进行第三实例图像显著性检测后的图像对比图。(a)为待检测彩色图像，(b)为深度信息，(c)为RC算法得到的显著性图像，(d)为Robust Background Detection算法得到的显著性图像，(e)为ACSD算法得到的显著性图像，(f)为Houwen Peng等人算法得到的显著性图像,(g)为本发明算法得到的显著性图像，(h)为人眼标示的显著性图像；
图5为采用现有图像显著性检测方法与本发明方法进行第四实例图像显著性检测后的图像对比图。(a)为待检测彩色图像，(b)为深度信息，(c)为RC算法得到的显著性图像，(d)为Robust Background Detection算法得到的显著性图像，(e)为ACSD算法得到的显著性图像，(f)为Houwen Peng等人算法得到的显著性图像,(g)为本发明算法得到的显著性图像，(h)为人眼标示的显著性图像；
图6为采用现有图像显著性检测方法与本发明方法进行图像显著性检测后的精确率，召回率以及F-Measure柱状图的对比。
具体实施方式
下面结合附图与实施例对本发明进行进一步说明。
本发明结合彩色和深度信息的图像显著性检测方法，包括如下步骤：
(1)输入待检测彩色图像及其对应的深度信息。待检测彩色图像由红、蓝、绿三个颜色通道组成。深度信息为彩色图像每个像素对应的实际深度。
(2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，对转换后得到的图像的每个像素提取5维向量(x,y,L,a,b),其中x表示图像中当前像素的水平坐标，y表示图像中当前像素的垂直坐标，L、a、b分别为颜色空间转换后三个颜色通道的数值，对图像所有像素对应的向量进行Meanshift聚类，实现图像的超像素分割，将图像分割成多块区域的集合R＝{ri；1≤i≤n,i∈Z},其中ri表示分割得到的第i个区域，n表示区域总数目，Z表示整数集合。
(3)对步骤1输入的深度信息进行归一化操作，对深度图像中各个像素点的原始深度值分别作为x代入下述公式，得到归一化后的深度图D：
y＝(x-MinValue)/(MaxValue-MinValue)
y表示归一化后各个像素的深度值，MinValue和MaxValue分别为深度信息中各个像素点原始深度值的最小值和最大值。
(4)结合拍摄图像的相机的参数，将步骤1输入的深度信息转换为三维点云数据：
Z＝D(x,y)；
X＝(x-cx)×Z/fx；
Y＝(y-cy)×Z/fy；
cx表示光轴中心的水平像素坐标,cy表示光轴中心的垂直像素坐标,fx表示相机水平方向的焦距,fy表示相机水平方向的焦距；通过上述公式将深度信息D中(x,y)对应的像素点转换为三维点云数据(X,Y,Z)，之后计算每个三维点与其邻域三维点所在平面的法向量，得到法向图N；
(5)对步骤2得到的图像超像素分割结果的每个区域ri(i＝1～n)提取特征fi＝[L(ri),a(ri),b(ri),μd(ri)]，其中L(ri)为区域ri内所有像素L的均值，a(ri)为区域ri内所有像素a的均值，b(ri)为区域ri内所有像素b的均值，d(ri)为变换后的深度图Dmap中区域ri的深度均值,μ的值由用户设定
(6)对步骤2得到的区域集合，计算其中任意一对区域ri和rj(i≠j)之间的对比C(ri,rj)，其描述如下：
其中exp(·)表示指数函数，xi表示区域ri重心的位置，σx的值由用户设定，||·||2表示L2范数；
(7)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤6中得到的对比C(ri,rj)，计算区域对比度图Src，Src图像中区域ri的取值描述如下：
其中A(rj)表示区域rj的面积；
(8)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤5计算的区域深度均值d(ri)，计算深度先验图Sdp，Sdp图像中区域ri的取值描述如下：
(9)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤4得到的法向图N，计算区域ri的法向量均值作为该区域的法向量n(ri)，进而计算方向先验图Sop，Sop图像中区域ri的取值描述如下：
Sop(ri)＝<z,n(ri)> (4)
其中z表示沿着光轴方向的单位矢量，<·>表示向量的内积运算；
(10)结合步骤7,8,9得到的区域对比度图Src，深度先验图Sdp和方向先验图Sop，计算得到融合先验信息的对比度图Sirc，其描述如下：
Sirc＝Src·Sdp·Sop (5)
(11)对步骤2得到的区域集合中的每一个区域ri(i＝1～n),以步骤10中的得到的融合先验的对比度图Sirc作为区域显著度的初始值，进行法向内积加权的网页排名(PageRank)算法，得到更新后的显著度值Spr，其描述如下：
其中N(i)表示与区域ri邻接的区域的标号集合；
(12)将步骤11得到的更新后的显著度值按照区域标号排序，组成列向量Spr＝[Spr(r1),Spr(r2),…,,Spr(rn)]T，构建基于马尔科夫随机场模型的图像恢复优化问题，并用最小二乘算法求解。优化问题描述如下：
其中M表示采样矩阵，对Spr中数值大小为前t％和后t％的元素所在位置进行采样,Si表示向量S中第i个元素，S*为最后的优化结果；其中，t,α和σf取值由用户设定；
(13)将步骤12得到的优化结果S*中第i个元素作为区域ri的显著性值，将显著性值归一化，对各个像素对应的显著性值分别作为x代入下述公式：
y＝(x-MinValue)/(MaxValue-MinValue)
y表示归一化后各个像素的显著性值，MinValue和MaxValue分别为各个像素显著性值的最小值和最大值。归一化之后，将取值进行平方得到显著性图像；
(14)对显著性图像进行中心偏移运算：利用二维高斯函数产生一个高斯模板图像，高斯函数的方差大小由用户设定，将高斯函数模板尺寸缩放为显著性图像的尺寸大小并进行归一化，之后与显著性图像相乘，得到最终的显著性图像。
采用上述方法对NLPR图像数据进行显著性检测,然后采用其他现有的图像显著性检测方法进行检测，得出的检测结果如图2至图5所示。各幅图中(a)为待检测彩色图像，(b)为对应的深度信息，(c)为RC算法得到的显著性图像，(d)为Robust Background Detection算法得到的显著性图像，(e)为ACSD算法得到的显著性图像，(f)为Houwen Peng等人的算法LMH得到的显著性图像,(g)为本发明算法得到的显著性图像，(h)为人眼标示的显著性图像。
同时，为了对本发明方法的效果进行客观数据指标评价，选用精确率，召回率和F-Measure三个量化评判标准对不同方法的实验结果进行比较分析，如图6所示。精确率定义为被正确检测到的显著性像素点数目与检测到的显著性像素点数目之比；召回率定义为被正确检测到的显著性像素点数目与真正的显著性像素点数目之比。一般而言，精确率和召回率通常是矛盾的，因此采用F-Measure指标综合反映显著性检测的量化结果，F-Measure的定义如下式：
本发明实施例中取值：ρ2＝0.3。
由图2至图6可以得出结论：与其他现有显著性方法进行比较，采用本发明图像显著性检测方法的表现结果更好，能更加完整和准确的从背景中提取显著物体。

Claims (5)

1.一种结合彩色和深度信息的图像显著性检测方法，其特征是，包括如下步骤：
(1)输入待检测彩色图像及其对应的深度信息D；待检测彩色图像由红、蓝、绿三个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；
(2)对步骤(1)输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，对转换后得到的图像的每个像素提取5维向量(x,y,L,a,b),其中x表示图像中当前像素的水平坐标，y表示图像中当前像素的垂直坐标，L、a、b分别为颜色空间转换后三个颜色通道的数值，对图像所有像素对应的向量进行Meanshift聚类，实现图像的超像素分割，将图像分割成多块区域的集合其中ri表示分割得到的第i个区域，n表示区域总数目，表示整数集合；
(3)对步骤(1)输入的深度信息D进行归一化操作，最远的深度值变换为1，最近的深度值变换为0，得到归一化后的深度图Dmap；
(4)结合拍摄图像的相机的参数，将步骤(1)输入的深度信息D转换为三维点云数据，并计算每个三维点与其邻域三维点所在平面的法向量，得到法向图N；
(5)对步骤(2)得到的图像超像素分割结果的每个区域ri,i＝1～n提取特征fi＝[L(ri),a(ri),b(ri),μd(ri)]，其中L(ri)为区域ri内所有像素L的均值，a(ri)为区域ri内所有像素a的均值，b(ri)为区域ri内所有像素b的均值，d(ri)为变换后的深度图Dmap中区域ri的深度均值,μ的值由用户设定；
(6)对步骤(2)得到的区域集合，计算其中任意一对区域ri和rj之间的对比度C(ri,rj)，其中i≠j，其描述如下：
其中exp(·)表示指数函数，xi表示区域ri重心的位置，σx的值由用户设定，||·||2表示L2范数；
(7)对步骤(2)得到的区域集合中的每一个区域ri,i＝1～n，结合步骤(6)中得到的对比度C(ri,rj)，计算该区域的区域对比度图Src，Src图像中区域ri的取值描述如下：
其中A(rj)表示区域rj的面积；
(8)对步骤(2)得到的区域集合中的每一个区域ri,i＝1～n，结合步骤(5)计算的区域深度均值d(ri)，计算深度先验图Sdp，Sdp图像中区域ri的取值描述如下：
(9)对步骤(2)得到的区域集合中的每一个区域ri,i＝1～n，结合步骤(4)得到的法向图N，计算区域ri的法向量均值作为该区域的法向量n(ri)，进而计算方向先验图Sop，Sop图像中区域ri的取值描述如下：
Sop(ri)＝<z,n(ri)> (4)
其中z表示沿着光轴方向的单位矢量，<·>表示向量的内积运算；
(10)结合步骤(7),(8),(9)得到的区域对比度图Src、深度先验图Sdp和方向先验图Sop，计算得到融合先验信息的对比度图Sirc，其描述如下：
Sirc＝Src·Sdp·Sop (5)
(11)对步骤(2)得到的区域集合中的每一个区域ri,i＝1～n,以步骤(10)中的得到的融合先验信息的对比度图Sirc作为区域显著度的初始值，进行法向内积加权的网页排名(PageRank)算法，得到更新后的显著度值Spr，其描述如下：
其中N(i)表示与区域ri邻接的区域的标号集合；
(12)将步骤(11)得到的更新后的显著度值按照区域标号排序，组成列向量Spr＝[Spr(r1),Spr(r2),…,Spr(rn)]T，构建基于马尔科夫随机场模型的图像恢复优化问题，并用最小二乘算法求解；优化问题描述如下：
其中M表示采样矩阵，对Spr中数值大小为前t％和后t％的元素所在位置进行采样,Si表示向量S中第i个元素，S*为最后的优化结果；其中，t,α和σf取值由用户设定；
(13)将步骤(12)得到的优化结果S*中第i个元素的数值作为区域ri的显著性值，将显著性值归一化并平方之后得到显著性图像；
(14)对显著性图像进行中心偏移运算，得到最终的显著性图像。
2.如权利要求1所述的图像显著性检测方法，其特征是，步骤(3)中进行归一化操作的方法如下：对深度信息D中各个像素点的原始深度值分别作为x代入下述公式：
y＝(x-MinValue)/(MaxValue-MinValue)
y表示归一化后各个像素的深度值，MinValue和MaxValue分别为深度信息D中各个像素点原始深度值的最小值和最大值。
3.如权利要求1所述的图像显著性检测方法，其特征是，步骤( 4) 中结合拍摄图像的相机的参数，将步骤(1)输入的深度信息D转换为三维点云数据的过程如下:
Z＝D(x,y)；
X＝(x-cx)×Z/fx；
Y＝(y-cy)×Z/fy；
cx表示光轴中心的水平像素坐标,cy表示光轴中心的垂直像素坐标,fx表示相机水平方向的焦距,fy表示相机垂直方向的焦距；通过上述公式将深度信息D中(x,y)对应的像素点转换为三维点云数据(X,Y,Z)。
4.如权利要求1所述的图像显著性检测方法，其特征是，步骤(13)中进行归一化操作的方法如下：对各个像素对应的显著性值分别作为x代入下述公式：
y＝(x-MinValue)/(MaxValue-MinValue)
y表示归一化后各个像素的显著性值，MinValue和MaxValue分别为各个像素显著性值的最小值和最大值。
5.如权利要求1所述的图像显著性检测方法，其特征是，步骤(14)中进行中心偏移的方法如下：利用二维高斯函数产生一个高斯模板图像，高斯函数的方差大小由用户设定，将高斯函数模板尺寸缩放为显著性图像的尺寸大小并进行归一化，之后与显著性图像相乘，得到最终的显著性图像。
CN201410814816.8A 2014-12-23 2014-12-23 结合彩色和深度信息的图像显著性检测方法 Expired - Fee Related CN104574375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410814816.8A CN104574375B (zh) 2014-12-23 2014-12-23 结合彩色和深度信息的图像显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410814816.8A CN104574375B (zh) 2014-12-23 2014-12-23 结合彩色和深度信息的图像显著性检测方法

Publications (2)

Publication Number Publication Date
CN104574375A CN104574375A (zh) 2015-04-29
CN104574375B true CN104574375B (zh) 2017-05-03

Family

ID=53090347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410814816.8A Expired - Fee Related CN104574375B (zh) 2014-12-23 2014-12-23 结合彩色和深度信息的图像显著性检测方法

Country Status (1)

Country Link
CN (1) CN104574375B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966286B (zh) * 2015-06-04 2018-01-09 电子科技大学 一种3d视频显著性检测方法
CN105139401A (zh) * 2015-08-31 2015-12-09 山东中金融仕文化科技股份有限公司 一种深度图中深度的可信度的评估方法
CN105118070A (zh) * 2015-10-12 2015-12-02 西南交通大学 基于时间序列的无线胶囊内窥镜视频中的出血段定位方法
CN105894502B (zh) * 2016-03-30 2019-10-11 浙江大学 基于超图模型的rgbd图像显著性检测方法
CN106023184A (zh) * 2016-05-16 2016-10-12 南京大学 一种基于各向异性中心环绕差异的深度显著性检测方法
CN106485257A (zh) * 2016-10-20 2017-03-08 东华大学 基于视觉感知的洗涤去污力客观评价装置及方法
CN106780476A (zh) * 2016-12-29 2017-05-31 杭州电子科技大学 一种基于人眼立体视觉特性的立体图像显著性检测方法
CN108629805B (zh) * 2017-03-15 2021-12-14 纵目科技（上海）股份有限公司 一种基于图像分层技术的显著性物体检测方法及系统
CN107123150B (zh) * 2017-03-25 2021-04-30 复旦大学 全局颜色对比度检测和分割显著图的方法
CN107274419B (zh) * 2017-07-10 2020-10-13 北京工业大学 一种基于全局先验和局部上下文的深度学习显著性检测方法
CN107292318B (zh) * 2017-07-21 2019-08-09 北京大学深圳研究生院 基于中心暗通道先验信息的图像显著性物体检测方法
CN107886533B (zh) * 2017-10-26 2021-05-04 深圳大学 立体图像的视觉显著性检测方法、装置、设备及存储介质
CN108388901B (zh) * 2018-02-05 2020-06-16 西安电子科技大学 基于空间-语义通道的协同显著目标检测方法
CN109118493B (zh) * 2018-07-11 2021-09-10 南京理工大学 一种深度图像中的显著区域检测方法
CN109034035A (zh) * 2018-07-18 2018-12-18 电子科技大学 基于显著性检测和特征融合的行人重识别方法
CN109215049B (zh) * 2018-07-18 2020-11-06 中国科学院自动化研究所 基于多尺度三维先验信息的屋顶分割方法、系统与设备
CN109584243B (zh) * 2018-11-27 2023-06-30 东南大学 一种基于对比度迭代的显著区域检测方法
CN109712105B (zh) * 2018-12-24 2020-10-27 浙江大学 一种结合彩色和深度信息的图像显著目标检测方法
CN111369612B (zh) * 2018-12-25 2023-11-24 北京欣奕华科技有限公司 一种三维点云图像生成方法及设备
CN110097569B (zh) * 2019-04-04 2020-12-22 北京航空航天大学 基于颜色马尔科夫链显著性模型的油罐目标检测方法
CN109917419B (zh) * 2019-04-12 2021-04-13 中山大学 一种基于激光雷达与图像的深度填充密集系统及方法
CN110135435B (zh) * 2019-04-17 2021-05-18 上海师范大学 一种基于广度学习系统的显著性检测方法及装置
CN110610505A (zh) * 2019-09-25 2019-12-24 中科新松有限公司 一种融合深度和色彩信息的图像分割方法
CN112990226A (zh) * 2019-12-16 2021-06-18 中国科学院沈阳计算技术研究所有限公司 一种基于机器学习的显著性物体检测方法
CN115601233B (zh) * 2022-12-14 2023-03-10 南京诺源医疗器械有限公司 一种医学图像的2d转3d方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142841A2 (en) * 2008-05-20 2009-11-26 Honda Motor Co., Ltd Rectangular table detection using hybrid rgb and depth camera sensors
CN104050682A (zh) * 2014-07-09 2014-09-17 武汉科技大学 一种融合颜色和深度信息的图像分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009142841A2 (en) * 2008-05-20 2009-11-26 Honda Motor Co., Ltd Rectangular table detection using hybrid rgb and depth camera sensors
CN104050682A (zh) * 2014-07-09 2014-09-17 武汉科技大学 一种融合颜色和深度信息的图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视觉选择性注意机制的研究及其在图像压缩中的应用;曾志宏;《中国优秀硕士学位论文全文全文数据库》;20091215;第32-39页 *

Also Published As

Publication number Publication date
CN104574375A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104574375B (zh) 结合彩色和深度信息的图像显著性检测方法
CN105894502B (zh) 基于超图模型的rgbd图像显著性检测方法
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN107862698B (zh) 基于k均值聚类的光场前景分割方法及装置
US20180165511A1 (en) Three-dimensional facial recognition method and system
CN103077521B (zh) 一种用于视频监控的感兴趣区域提取方法
EP2811423B1 (en) Method and apparatus for detecting target
CN103248906B (zh) 一种双目立体视频序列的深度图获取方法与系统
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN103971116A (zh) 基于Kinect的感兴趣区域检测方法
CN103530599A (zh) 一种真实人脸和图片人脸的区别方法和系统
CN103735269B (zh) 一种基于视频多目标跟踪的高度测量方法
CN102609950B (zh) 一种二维视频深度图的生成方法
CN104851089A (zh) 一种基于三维光场的静态场景前景分割方法和装置
CN101765019B (zh) 一种用于运动模糊和光照变化图像的立体匹配方法
Tošić et al. 3D keypoint detection by light field scale-depth space analysis
CN110189347B (zh) 一种测量物体体积的方法及终端
CN106257537A (zh) 一种基于光场信息的空间深度提取方法
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
Wang et al. Enhanced spinning parallelogram operator combining color constraint and histogram integration for robust light field depth estimation
Tian et al. Human Detection using HOG Features of Head and Shoulder Based on Depth Map.
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
CN102708570B (zh) 获取深度图的方法及装置
CN108564020A (zh) 基于全景3d图像的微手势识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170503

Termination date: 20181223

CF01 Termination of patent right due to non-payment of annual fee