CN107145892B - 一种基于自适应融合机制的图像显著性物体检测方法 - Google Patents

一种基于自适应融合机制的图像显著性物体检测方法 Download PDF

Info

Publication number
CN107145892B
CN107145892B CN201710372348.7A CN201710372348A CN107145892B CN 107145892 B CN107145892 B CN 107145892B CN 201710372348 A CN201710372348 A CN 201710372348A CN 107145892 B CN107145892 B CN 107145892B
Authority
CN
China
Prior art keywords
depth
region
image
conspicuousness
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710372348.7A
Other languages
English (en)
Other versions
CN107145892A (zh
Inventor
李革
朱春彪
王文敏
王荣刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201710372348.7A priority Critical patent/CN107145892B/zh
Publication of CN107145892A publication Critical patent/CN107145892A/zh
Application granted granted Critical
Publication of CN107145892B publication Critical patent/CN107145892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公布了一种基于自适应融合机制的图像显著性物体的检测方法，利用颜色、深度、距离信息对图像的显著性区域进行定位检测，得到图像中显著性物体的初步检测结果，再利用自适应融合机制优化显著性检测的最终结果。本发明利用了多层次的深度信息进行显著性检测，可以增加显著性物体检测的精准性；还提供了一种自适应的融合机制，通过不断融合，增加了显著性检测的鲁棒性，适用于更多复杂的场景，使用范围更广。本发明使图像中的显著性区域更精准地显现出来，可为后期的目标识别和分类等应用提供精准且有用的信息。

Description

一种基于自适应融合机制的图像显著性物体检测方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种利用自适应融合机制进行图像的显著性物体检测的方法。
背景技术
在面对一个复杂场景时，人眼的注意力会迅速集中在少数几个显著的视觉对象上，并对这些对象进行优先处理，该过程被称为视觉显著性。显著性检测正是利用人眼的这种视觉生物学机制，用数学的计算方法模拟人眼对图像进行适当的处理，从而获得一张图片的显著性物体。由于我们可以通过显著性区域来优先分配图像分析与合成所需要的计算资源，所以，通过计算来检测图像的显著性区域意义重大。提取出的显著性图像可以广泛应用于许多计算机视觉领域的应用，包括对兴趣目标物体的图像分割，目标物体的检测与识别，图像压缩与编码，图像检索，内容感知图像编辑等方面。
通常来说，现有的显著性检测框架主要分为：自底向上的显著性检测方法和自顶向下的显著性检测方法。目前大多采用自底向上的显著性检测方法，它是基于数据驱动的，且独立于具体的任务；而自顶向下的显著性检测方法是受意识支配的，与具体任务相关。
现有方法中，自底向上的显著性检测方法大多使用低水平的特征信息，例如颜色特征、距离特征和一些启发式的显著性特征等。尽管这些方法有各自的优点，但是在一些特定场景下的具有挑战性的数据集上，这些方法表现的不够精确，不够健壮。为了解决这一问题，随着3D图像采集技术的出现，目前已有方法通过采用深度信息来增强显著性物体检测的精准度。尽管深度信息可以增加显著性物体检测的精准度，但是，当一个显著性物体与其背景有着低对比的深度时，还是会影响显著性检测的精准度。
综合来看，现有的图像显著性物体检测方法在检测显著性物体时精准度不高，方法健壮性不够强，容易造成误检、漏检等情况，很难得到一个精确的图像显著性检测结果，不仅造成显著性物体本身的错检，同时也会对利用显著性检测结果的应用造成一定的误差。
发明内容
本发明的目的在于针对上述已有技术的不足，提出了一种新的基于自适应融合机制的图像显著性物体检测方法，能够解决现有的显著性检测不够精确，不够健壮性的问题，使图像中的显著性区域更精准地显现出来，为后期的目标识别和分类等应用提供精准且有用的信息。
本发明提供的技术方案是：
一种基于自适应融合机制的图像显著性物体的检测方法，利用颜色、深度、距离信息对图像的显著性区域进行定位检测，得到图像中显著性物体的初步检测结果，再利用我们提出的自适应融合机制，优化显著性检测的最终结果；其实现包括如下步骤：
1)输入一张待检测图像Io，利用Kinect设备得到的该图像的深度图Id；
2)利用K-means算法将待检测的图像Io分成K个区域(包含K个子区域k)，并计算得到每一个区域的颜色显著性值；
3)同颜色显著性值计算方式一样，将深度图Id划分为K个区域，计算得到深度图中每一个区域的的深度显著性值；
4)通常来说，显著性物体都位于中心位置，计算得到子区域k的中心和深度权重DW(dk)；
5)进行初步显著性检测：利用待检测图像中每一个区域的颜色显著性值、深度图中每一个区域的深度显著性值和区域的中心和深度权重，通过高斯归一化方法计算得到初步的显著性检测结果S1(rk)；
6)利用深度图的深度等信息加强初步显著性检测结果，进行优化；
7)利用待检测图像和该图像的深度图，将深度图扩展成基于深度的彩色图；
8)将扩展后的基于深度的彩色图进行二次显著性检测，得到二次显著性检测结果S2(rk)；
9)将初步显著性检测结果和二次显著性检测结果，通过自适应融合方法进行自适应融合，得到最后的显著性检测结果S(rk)；本发明提出的自适应融合方法如式(11)：
其中，S1(rk)为初步的显著性检测结果；S2(rk)为二次显著性检测结果；DW(dk)是深度权重；为逻辑非运算。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于自适应融合机制的图像显著性物体检测算法，首先基于图像颜色、空间、深度信息计算出初步的显著性结果。然后通过对深度图进行扩展，计算出二次显著性检测结果图。最后，利用提出的自适应融合机制，将初步显著性结果图与二次显著性结果图进行融合，得到最后的显著性检测结果图。实验结果表明，本发明较其他方法检测结果更有效。
本发明能够更加精准，更加鲁棒地检测出显著性物体。与现有技术相比，本发明具有以下技术优势：
(一)由于利用了多层次的深度信息进行显著性检测，本发明可以增加显著性物体检测的精准性。
(二)本发明提供了一种自适应的融合机制，通过不断融合，增加了显著性检测的鲁棒性。适用于更多复杂的场景，使用范围更广。
附图说明
图1为本发明提供的流程框图。
图2为本发明实施例中对输入图像分别采用现有方法、采用本发明方法检测图像得到的检测结果图像，以及人工标定期望得到图像的对比图；
其中，第一列为输入图像，第二至第五列为现有其他方法得到的检测结果图像，第六列为本发明检测结果图像，第七列为人工标定期望得到的图像。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供了一种基于自适应融合机制的图像显著性物体检测算法，能够更加精准，更加鲁棒地检测出显著性物体。本发明首先基于图像颜色、空间、深度信息计算出初步的显著性结果。然后通过对深度图进行扩展，计算出二次显著性检测结果图。最后，利用我们提出的自适应融合机制，将初步显著性结果图与二次显著性结果图进行融合，得到最后的显著性检测结果图。图1为本发明提供的显著性物体检测方法的流程框图，包括以下步骤：
步骤一、输入一张待检测的图像Io，利用Kinect设备得到的该图像的深度图Id；
步骤二、利用K-means算法将图像分成K个区域，并通过式(1)计算得到每一个子区域的颜色显著性值：
其中，rk和ri分别代表区域k和i，Dc(rk,ri)表示区域k和区域i在L*a*b颜色空间上的欧氏距离，Pi代表区域i所占图像区域的比例，Wd(rk)定义如下：
其中，Do(rk,ri)表示区域k和区域i的坐标位置距离，σ是一个参数控制着Wd(rk)的范围。本发明具体实施时，σ设置为0.4具有最好的效果。
rk和ri为任意的两个子区域，具体计算时设计为从头开始，比如有10个区域，设定k＝1表示开始计算第一个子区域，i＝1到10表示第一个子区域与所有10个子区域分别进行比较计算；然后，k＝2，i＝1到10，按公式(1)进行计算，最后k＝10，i＝1到10，计算结束；通过遍历计算得到每一个子区域的颜色显著性值。
步骤三、同颜色显著性值计算方式一样，通过式(3)计算深度图的深度显著性值：
其中，Dd(rk,ri)是区域k和区域i在深度空间的欧氏距离。
步骤四、通常来说，显著性物体都位于中心位置，通过式(4)计算区域k的中心深度权重Wcd(rk)：
其中，Wcd(rk)为中心深度权重，融合了中心和深度信息的权重值；G(·)表示高斯归一化，‖·‖表示欧氏距离操作，Pk是子区域k的位置坐标，Po是该图像的坐标中心，Nk是子区域k的像素数量。DW(dk)是深度权重，定义如下：
DW(dk)＝(max{d}-dk)μ (5)
其中，max{d}表示深度图的最大深度，dk表示区域k的深度值，μ是一个与计算的深度图有关的参数，定义如下：
其中，min{d}表示深度图的最小深度。
步骤五、利用式(7)得到初步的显著性检测结果S1(rk)：
S1(rk)＝G(Sc(rk)×Wcd(rk)+Sd(rk)×Wcd(rk)) (7)
步骤六、为了优化初步的显著性检测结果，利用深度信息DW(dk)和现有的BSCA方法计算的中心显著性值Wc对式(7)的结果进行加强：
文献(Qin Y,Lu H,Xu Y,et al.Saliency detection via Cellular Automata[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2015:110-119)记载了BSCA方法。
对于深度图，位于前景的物体有小的深度值，位于背景的物体有大的深度值，而显著性物体常常位于前景，而我们要得到的显著性结果数值越大代表越显著，所以，深度信息的数值和显著性结果的数值是成反比的，取反操作，就变成正比了，即可得到我们想要的结果。
步骤七、把深度图通过式(9)扩展成基于深度的彩色图：
Ie<R|G|B>＝Io<R|G|B>×Id (9)
其中，Ie是扩展之后的基于深度的彩色图。
步骤八、将扩展后的基于深度的彩色图通过式(10)进行二次显著性检测，得到二次显著性检测结果S2(rk)：
S2(rk)＝G(Sc(rk)×Wcd(rk)+Sd(rk)×Wcd(rk)) (10)
步骤九、利用式(11)将初步显著性检测结果和二次显著性检测结果进行自适应融合，得到我们最后的显著性检测结果：
图2为本发明实施例中对输入图像分别采用现有方法、采用本发明方法检测图像得到的检测结果图像，以及人工标定期望得到图像的对比图；第一列为输入图像，第二至第五列为现有其他方法得到的检测结果图像，第六列为本发明检测结果图像，第七列为人工标定期望得到的图像。结果表明，本发明的显著性物体检测方法更具鲁棒性，更加精准，更接近于人工标定的预期效果。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (8)

1.一种基于自适应融合机制的图像显著性物体的检测方法，利用颜色、深度、距离信息对图像的显著性区域进行定位检测，得到图像中显著性物体的初步检测结果，再利用自适应融合机制优化显著性检测的最终结果；包括如下步骤：
1)输入待检测图像Io，得到该图像的深度图Id；
2)将待检测的图像Io分成K个区域，即包含K个子区域k，计算得到每一个区域的颜色显著性值Sc(rk)；
3)将深度图Id划分为K个区域，计算得到深度图中每一个区域的深度显著性值Sd(rk)；
4)通过式(4)计算得到子区域k的中心深度权重Wcd(rk)：
其中，Wcd(rk)为中心深度权重；G(||Pk-Po||)表示中心权重，G(·)表示高斯归一化；||·||表示欧氏距离操作；Pk是子区域k的位置坐标；Po是该图像的坐标中心；Nk是子区域k的像素数量；DW(dk)是深度权重，表示为式(5)：
DW(dk)＝(max{d}-dk)μ (5)
式(5)中，max{d}表示深度图的最大深度；dk表示区域k的深度值；μ是一个与计算的深度图有关的参数；
5)进行初步显著性检测：利用待检测图像中每一个区域的颜色显著性值、深度图中每一个区域的深度显著性值和区域的中心和深度权重，计算得到初步的显著性检测结果S1(rk)；
6)利用深度图的深度信息加强优化初步显著性检测结果，具体通过式(8)对式(7)的结果进行优化：
其中，Wc为中心显著性值；为逻辑非运算；
7)利用待检测图像和该图像的深度图，将深度图扩展成基于深度的彩色图Ie；
8)将扩展后的基于深度的彩色图Ie进行二次显著性检测，得到二次显著性检测结果S2(rk)；
9)将初步显著性检测结果和二次显著性检测结果，通过自适应融合方法进行自适应融合，得到最后的显著性检测结果S(rk)；所述自适应融合方法表示为式(11)：
其中，S1(rk)为初步的显著性检测结果；S2(rk)为二次显著性检测结果；DW(dk)是深度权重；为逻辑非运算。
2.如权利要求1所述图像显著性物体的检测方法，其特征是，步骤1)对待检测图像Io，利用Kinect设备得到图像Io的深度图Id。
3.如权利要求1所述图像显著性物体的检测方法，其特征是，步骤2)利用K-means算法将待检测的图像Io分成K个子区域k，通过式(1)计算得到每一个子区域的颜色显著性值Sc(rk)：
其中，rk和ri分别代表区域k和i，Dc(rk,ri)表示区域k和区域i在L*a*b颜色空间上的欧氏距离，Pi代表区域i所占图像区域的比例；Wd(rk)表示为式(2)：
其中，Do(rk,ri)表示区域k和区域i的坐标位置距离，σ是一个参数控制着Wd(rk)的范围。
4.如权利要求1所述图像显著性物体的检测方法，其特征是，步骤3)具体通过式(3)
计算得到深度图的深度显著性值Sd(rk)：
其中，Dd(rk,ri)是区域k和区域i在深度空间的欧氏距离。
5.如权利要求1所述图像显著性物体的检测方法，其特征是，步骤4)中，参数μ具体通过式(6)得到：
其中，min{d}表示深度图的最小深度。
6.如权利要求1所述图像显著性物体的检测方法，其特征是，步骤5)具体通过高斯归一化方法，利用式(7)计算得到初步的显著性检测结果S1(rk)：
S1(rk)＝G(Sc(rk)×Wcd(rk)+Sd(rk)×Wcd(rk)) (7)
其中，G(·)表示高斯归一化。
7.如权利要求1所述图像显著性物体的检测方法，其特征是，步骤7)具体通过式(9)扩展成基于深度的彩色图：
Ie<R|G|B>＝Io<R|G|B>×Id (9)
其中，Ie是扩展之后的基于深度的彩色图。
8.如权利要求1所述图像显著性物体的检测方法，其特征是，步骤8)所述二次显著性检测具体通过式(10)计算得到二次显著性检测结果S2(rk)：
S2(rk)＝G(Sc(rk)×Wcd(rk)+Sd(rk)×Wcd(rk)) (10)
其中，G(·)表示高斯归一化。
CN201710372348.7A 2017-05-24 2017-05-24 一种基于自适应融合机制的图像显著性物体检测方法 Active CN107145892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710372348.7A CN107145892B (zh) 2017-05-24 2017-05-24 一种基于自适应融合机制的图像显著性物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710372348.7A CN107145892B (zh) 2017-05-24 2017-05-24 一种基于自适应融合机制的图像显著性物体检测方法

Publications (2)

Publication Number Publication Date
CN107145892A CN107145892A (zh) 2017-09-08
CN107145892B true CN107145892B (zh) 2019-01-22

Family

ID=59780224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710372348.7A Active CN107145892B (zh) 2017-05-24 2017-05-24 一种基于自适应融合机制的图像显著性物体检测方法

Country Status (1)

Country Link
CN (1) CN107145892B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292923B (zh) * 2017-06-29 2019-03-01 北京大学深圳研究生院 基于深度图挖掘的后向传播图像视觉显著性检测方法
CN108711147B (zh) * 2018-05-11 2021-10-12 天津大学 一种基于卷积神经网络的显著性融合检测方法
CN113128519B (zh) * 2021-04-27 2023-08-08 西北大学 一种多模态多拼接的rgb-d显著性目标检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050682B (zh) * 2014-07-09 2017-01-18 武汉科技大学 一种融合颜色和深度信息的图像分割方法
CN104835146A (zh) * 2015-04-14 2015-08-12 上海大学 基于深度信息和图切割的立体图像中显著对象分割方法
CN105787938A (zh) * 2016-02-25 2016-07-20 上海大学 一种基于深度图的人物分割方法
CN106651853B (zh) * 2016-12-28 2019-10-18 北京工业大学 基于先验知识和深度权重的3d显著性模型的建立方法

Also Published As

Publication number Publication date
CN107145892A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
CN107292318B (zh) 基于中心暗通道先验信息的图像显著性物体检测方法
Premebida et al. Pedestrian detection combining RGB and dense LIDAR data
Klein et al. Center-surround divergence of feature statistics for salient object detection
Boyer et al. SHREC 2011: robust feature detection and description benchmark
US9142011B2 (en) Shadow detection method and device
CN102113335B (zh) 图像处理设备和方法
CN108734185B (zh) 图像校验方法和装置
CN107292923B (zh) 基于深度图挖掘的后向传播图像视觉显著性检测方法
CN105809651B (zh) 基于边缘非相似性对比的图像显著性检测方法
Huang et al. Regions of interest extraction from color image based on visual saliency
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN110488368B (zh) 一种基于双能x光安检机的违禁品识别方法及装置
CN107145892B (zh) 一种基于自适应融合机制的图像显著性物体检测方法
CN104680546A (zh) 一种图像显著目标检测方法
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN105678735A (zh) 一种用于雾天图像的目标显著性检测方法
CN110689134A (zh) 执行机器学习过程的方法、装置、设备以及存储介质
Tian et al. Human Detection using HOG Features of Head and Shoulder Based on Depth Map.
CN117557784B (zh) 目标检测方法、装置、电子设备及存储介质
US9053383B2 (en) Recognizing apparatus and method, program, and recording medium
CN111325184A (zh) 一种遥感影像智能解译与变化信息检测方法
WO2022222036A1 (zh) 车位确定方法及装置
CN104050674A (zh) 一种显著性区域检测方法及装置
Kallasi et al. Computer vision in underwater environments: A multiscale graph segmentation approach
Qi et al. Cascaded cast shadow detection method in surveillance scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant