CN112990226A - 一种基于机器学习的显著性物体检测方法 - Google Patents

一种基于机器学习的显著性物体检测方法 Download PDF

Info

Publication number
CN112990226A
CN112990226A CN201911290911.1A CN201911290911A CN112990226A CN 112990226 A CN112990226 A CN 112990226A CN 201911290911 A CN201911290911 A CN 201911290911A CN 112990226 A CN112990226 A CN 112990226A
Authority
CN
China
Prior art keywords
map
image
machine learning
rgb image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911290911.1A
Other languages
English (en)
Inventor
夏筱筠
叶岚清
刘丽丽
史建航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Computing Technology of CAS
Original Assignee
Shenyang Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Computing Technology of CAS filed Critical Shenyang Institute of Computing Technology of CAS
Priority to CN201911290911.1A priority Critical patent/CN112990226A/zh
Publication of CN112990226A publication Critical patent/CN112990226A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于机器学习的显著性物体检测方法，包括以下步骤：1)获取RGB图像与深度图，将RGB图像与深度图通过超像素采样网络进行超像素分割，并提取分割后每个区域的特征构成特征向量；2)使用N个不同带宽的聚类算法对特征向量聚类得到聚类图，并对N个聚类图进行显著性计算，得到N个显著性图像；3)将N个显著性图像合并成一个显著性图，并把该显著性图作为一个新特征加到所述特征向量中；4)返回步骤2)，直到循环次数达到阈值，输出最终的显著性图。本发明在RGB图像基础上加入深度图，作为SSN的输入，大大提高了超像素分割的速度于准确率。

Description

一种基于机器学习的显著性物体检测方法
技术领域
本发明属于图像处理领域，具体说是一种基于机器学习的显著性物体检测方法。
背景技术
显著性检测是计算机视觉领域基础性的研究问题，通过模拟人的视觉注意力系统来突出图片中显著的区域或者物体。在过去的几十年中，显著性检测吸引了很多的研究人员。它在很多的图像处理问题中作为预处理中的重要一步。显著性检测大多应用于2D图片进行处理，但在3D视觉中也有相应的应用场景，其中也需要对2D图像进行分析。因此二维图像的显著性检测就尤为重要。
生物学家证明与周围环境有很好的区分度的视觉区域更会吸引人的注意，很多的算法都是在根据这个原理来解决显著性检测问题，其中有根据低级特征计算区域对比度和根据背景特征计算区域对比度来得到显著性图。但是这些模型会在背景和物体没有明显的对比度的情况下就经常失效。因此引入深度信息就显得十分有用。深度信息在人的视觉系统中起到了很大的作用，但是传统的模型没有引入深度信息，只是使用了RGB图像的信息。同时大量的3-D传感器能够很方便的获取到RGB图与深度图。因此需把深度信息融入到显著性检测中来研究高效的显著性检测算法。
发明内容
本发明是通过区域特征聚类的XYLabD特征(注：SSN中使用缩放后的XYLab特征作为输入，由于本算法加入了深度图(Depth图)因此将输入写为XYLabD特征)进行物体检测，首先使用结合深度信息的超像素采样网络(SSN)对图片进行超像素分割，提取分割后每个区域的特征构成特征向量。然后使用十个不同带宽的MeanShift算法对特征向量聚类得到聚类图，并对十个聚类后的图进行显著性计算。通过CatBoost算法把十个显著性图合并成一个显著性图，并把该显著性图作为一个新特征加到上面提到在特征向量中。继续计算显著性图，直到循环达到二十次，输出最终的显著性图。通过实验，在三个RGBD显著性物体数据库中把本算法通过和八个算法进行对比，显示出本算法有更好的性能。
本发明为实现上述目的所采用的技术方案是：一种基于机器学习的显著性物体检测方法，包括以下步骤：
1)获取RGB图像与深度图，将RGB图像与深度图通过超像素采样网络进行超像素分割，并提取分割后每个区域的特征构成特征向量；
2)使用N个不同带宽的聚类算法对特征向量聚类得到聚类图，并对N个聚类图进行显著性计算，得到N个显著性图像；
3)将N个显著性图像合并成一个显著性图，并把该显著性图作为一个新特征加到所述特征向量中；
4)返回步骤2)，直到循环次数达到阈值，输出最终的显著性图。
所述将RGB图像与深度图通过超像素采样网络进行超像素分割，具体为：将RGB图像与深度图作为超像素采样网络的输入，通过超像素采样网络对RGB图像与深度图进行超像素分割。
所述特征包括CIELab三个颜色通道、图片深度信息、深度图像的两个区域特征图以及RGB图像的两个区域特征图中的至少一种。
所述深度图像的两个区域特征图为深度图像的物体区域特征图与背景区域特征图。
所述RGB图像的两个区域特征图为RGB图像的物体区域特征与背景区域特征。
所述聚类算法为MeanShift算法。
所述步骤2)具体如下：
将分割后每个超像素区域的特征和超像素区域的位置{x，y}作为输入，通过控制Mean Shift算法的核函数尺度参数，进行不同尺度下的特征聚类，得到N个聚类图，随后通过BC算法得到每个聚类的显著图，即N个显著性图像。
所述将N个显著性图像合并成一个显著性图，采用CatBoost算法。
本发明具有以下有益效果及优点：
1.本发明在RGB图像基础上加入深度图，作为SSN的输入，大大提高了超像素分割的速度于准确率。
2.用CatBoost算法进行显著性图像的合并，极大的丰富了特征维度，从而提高了模型的准确率。
附图说明
图1所示为本发明的流程图；
图2所示为超像素采样网络(SSN)效果图；
图3所示为MeanShift聚类结果图；
图4所示为用CatBoost算法合并后的显著性图；
图5所示为不同循环次数的显著性图像对比图；
图6所示为不同算法进行物体检测的对比图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
如图1所示为本发明的流程图。使用3-D传感器获得RGB图像与深度图，将其作为输入通过超像素采样网络(SSN)对图片进行超像素分割，并提取分割后每个区域的特征构成特征向量。然后使用十个不同带宽的MeanShift算法对特征向量聚类得到聚类图，并对十个聚类后的图进行显著性计算。通过CatBoost算法把十个显著性图合并成一个显著性图，并把该显著性图作为一个新特征加到上面提到在特征向量中。继续计算显著性图，直到循环达到二十次，输出最终的显著性图。
如图2所示为超像素采样网络(SSN)效果图。本发明将RGB图像与深度图像作为超像素采样网络(SSN)的输入，对图片进行超像素分割，提取分割后的特征构成特征向量，其中特征分别为：CIELab三个颜色通道、图片深度信息、两个深度图像的区域特征以及两个RGB图像的区域特征图。其中，深度图像的两个区域特征图(深度图像的物体区域特征图与背景区域特征图，可通过全局对比度与背景对比度得到)，RGB图像的两个区域特征图(RGB图像的物体区域特征与背景区域特征)。
图3所示为MeanShift聚类结果图。将图2中的八个特征和超像素位置特征{x，y}作为输入，通过控制Mean Shift算法的核函数尺度参数，进行不同尺度下的特征聚类，得到10组值聚类效果图，随后通过Boundary Connectivity(BC)计算每个聚类的显著图(如图3所示)。
图4所示为用CatBoost算法合并后的显著性图。将上图中得到的10个显著图通过CatBoost算法合并成一个显著性图，效果如图4所示，左边为10个不同带宽聚类得到的显著性图，右边为合成后的显著性图。
图5所示为不同循环次数的显著性图像对比图。将图4中合并后的显著性图作为一个新特征，加入到已有的10个特征中,此时特征有11个,进行MeanShift聚类，进行二十次重复过程能够很好的突出显著性物体，同时由于增加次数会使得计算量增加，因此最后选择二十次来得到最终的显著性图。图5中分别为循环3次、6次、15次以及最后得到的显著性图。
图6所示为不同算法进行物体检测的对比图。从左到右分别是：原图、深度图、PCA算法结果、RBD算法结果、RC算法结果、MB+算法结果、MST算法结果、DRFI*算法结果、RGBD算法结构、本文算法结果以及真值图。从图中可以看出本算法的性能较佳，能很好的检测出物体的轮廓，与背景形成明显的区分。

Claims (8)

1.一种基于机器学习的显著性物体检测方法，其特征在于，包括以下步骤：
1)获取RGB图像与深度图，将RGB图像与深度图通过超像素采样网络进行超像素分割，并提取分割后每个区域的特征构成特征向量；
2)使用N个不同带宽的聚类算法对特征向量聚类得到聚类图，并对N个聚类图进行显著性计算，得到N个显著性图像；
3)将N个显著性图像合并成一个显著性图，并把该显著性图作为一个新特征加到所述特征向量中；
4)返回步骤2)，直到循环次数达到阈值，输出最终的显著性图。
2.根据权利要求1所述的一种基于机器学习的显著性物体检测方法，其特征在于，所述将RGB图像与深度图通过超像素采样网络进行超像素分割，具体为：将RGB图像与深度图作为超像素采样网络的输入，通过超像素采样网络对RGB图像与深度图进行超像素分割。
3.根据权利要求1所述的一种基于机器学习的显著性物体检测方法，其特征在于：所述特征包括CIELab三个颜色通道、图片深度信息、深度图像的两个区域特征图以及RGB图像的两个区域特征图中的至少一种。
4.根据权利要求3所述的一种基于机器学习的显著性物体检测方法，其特征在于：所述深度图像的两个区域特征图为深度图像的物体区域特征图与背景区域特征图。
5.根据权利要求3所述的一种基于机器学习的显著性物体检测方法，其特征在于：所述RGB图像的两个区域特征图为RGB图像的物体区域特征与背景区域特征。
6.根据权利要求1所述的一种基于机器学习的显著性物体检测方法，其特征在于：所述聚类算法为MeanShift算法。
7.根据权利要求1所述的一种基于机器学习的显著性物体检测方法，其特征在于：所述步骤2)具体如下：
将分割后每个超像素区域的特征和超像素区域的位置{x，y}作为输入，通过控制MeanShift算法的核函数尺度参数，进行不同尺度下的特征聚类，得到N个聚类图，随后通过BC算法得到每个聚类的显著图，即N个显著性图像。
8.根据权利要求1所述的一种基于机器学习的显著性物体检测方法，其特征在于：所述将N个显著性图像合并成一个显著性图，采用CatBoost算法。
CN201911290911.1A 2019-12-16 2019-12-16 一种基于机器学习的显著性物体检测方法 Withdrawn CN112990226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911290911.1A CN112990226A (zh) 2019-12-16 2019-12-16 一种基于机器学习的显著性物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911290911.1A CN112990226A (zh) 2019-12-16 2019-12-16 一种基于机器学习的显著性物体检测方法

Publications (1)

Publication Number Publication Date
CN112990226A true CN112990226A (zh) 2021-06-18

Family

ID=76343064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911290911.1A Withdrawn CN112990226A (zh) 2019-12-16 2019-12-16 一种基于机器学习的显著性物体检测方法

Country Status (1)

Country Link
CN (1) CN112990226A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780259A (zh) * 2021-11-15 2021-12-10 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574375A (zh) * 2014-12-23 2015-04-29 浙江大学 结合彩色和深度信息的图像显著性检测方法
CN104966286A (zh) * 2015-06-04 2015-10-07 电子科技大学 一种3d视频显著性检测方法
CN107169487A (zh) * 2017-04-19 2017-09-15 西安电子科技大学 基于超像素分割及深度特征定位的显著性目标检测方法
CN107274419A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种基于全局先验和局部上下文的深度学习显著性检测方法
CN107369131A (zh) * 2017-07-04 2017-11-21 华中科技大学 图像的显著性检测方法、装置、存储介质和处理器
WO2018023734A1 (zh) * 2016-08-05 2018-02-08 深圳大学 一种3d图像的显著性检测方法
US20180253858A1 (en) * 2017-03-02 2018-09-06 Sony Corporation Detection of planar surfaces for use in scene modeling of a captured scene
US20180278957A1 (en) * 2015-09-25 2018-09-27 Sisvel Technology S.R.L. Methods and Apparatuses for Encoding and Decoding Digital Images Through Superpixels

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574375A (zh) * 2014-12-23 2015-04-29 浙江大学 结合彩色和深度信息的图像显著性检测方法
CN104966286A (zh) * 2015-06-04 2015-10-07 电子科技大学 一种3d视频显著性检测方法
US20180278957A1 (en) * 2015-09-25 2018-09-27 Sisvel Technology S.R.L. Methods and Apparatuses for Encoding and Decoding Digital Images Through Superpixels
WO2018023734A1 (zh) * 2016-08-05 2018-02-08 深圳大学 一种3d图像的显著性检测方法
US20180253858A1 (en) * 2017-03-02 2018-09-06 Sony Corporation Detection of planar surfaces for use in scene modeling of a captured scene
CN107169487A (zh) * 2017-04-19 2017-09-15 西安电子科技大学 基于超像素分割及深度特征定位的显著性目标检测方法
CN107369131A (zh) * 2017-07-04 2017-11-21 华中科技大学 图像的显著性检测方法、装置、存储介质和处理器
CN107274419A (zh) * 2017-07-10 2017-10-20 北京工业大学 一种基于全局先验和局部上下文的深度学习显著性检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JEREMIE PAPON等: "Voxel Cloud Connectivity Segmentation - Supervoxels for Point Clouds", 2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, pages 2027 - 2034 *
夏筱筠等: "一体式三轴联动复合型接管自动压装机的设计与实现", 中国设备工程, no. 6, pages 114 - 117 *
王帅等: "基于区域特征聚类的 RGBD 显著性物体检测", 小型微型计算机系统, no. 4, pages 704 - 709 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780259A (zh) * 2021-11-15 2021-12-10 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质
WO2023083059A1 (zh) * 2021-11-15 2023-05-19 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN105913456B (zh) 基于区域分割的视频显著性检测方法
CN104574375B (zh) 结合彩色和深度信息的图像显著性检测方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN106991689B (zh) 基于fhog和颜色特征的目标跟踪方法及gpu加速
CN102722891A (zh) 一种图像显著度检测的方法
CN107301664A (zh) 基于相似性测度函数的改进局部立体匹配方法
CN106997478B (zh) 基于显著中心先验的rgb-d图像显著目标检测方法
Sharma et al. Edge detection using Moore neighborhood
CN107871321B (zh) 图像分割方法及装置
CN107578430A (zh) 一种基于自适应权值和局部熵的立体匹配方法
CN103020993A (zh) 一种双通道颜色对比度融合的视觉显著性检测方法
CN107369158A (zh) 基于rgb‑d图像的室内场景布局估计及目标区域提取方法
CN103093470A (zh) 一种具有尺度无关特性的快速多模态图像协同分割方法
CN103955945A (zh) 基于双目视差和活动轮廓的自适应彩色图像分割方法
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN110909615A (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN102867171B (zh) 一种基于标记传播与邻域嵌入保持的人脸表情识别方法
Jiang et al. Salient regions detection for indoor robots using RGB-D data
CN104050674B (zh) 一种显著性区域检测方法及装置
CN107085725B (zh) 一种通过基于自适应码本的llc聚类图像区域的方法
CN108062523B (zh) 一种红外远小目标检测方法
CN112990226A (zh) 一种基于机器学习的显著性物体检测方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
CN111435448B (zh) 图像显著性物体检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210618

WW01 Invention patent application withdrawn after publication