CN103136766A - 一种基于颜色对比和颜色分布的物体显著性检测方法 - Google Patents
一种基于颜色对比和颜色分布的物体显著性检测方法 Download PDFInfo
- Publication number
- CN103136766A CN103136766A CN2013100448691A CN201310044869A CN103136766A CN 103136766 A CN103136766 A CN 103136766A CN 2013100448691 A CN2013100448691 A CN 2013100448691A CN 201310044869 A CN201310044869 A CN 201310044869A CN 103136766 A CN103136766 A CN 103136766A
- Authority
- CN
- China
- Prior art keywords
- color
- contrast
- distribution
- super pixel
- conspicuousness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于颜色对比和颜色分布的物体显著性检测方法,步骤包括S1:将输入图像过分割为面积较小的超像素,并计算超像素内部的平均颜色与位置;S2:计算每个超像素的中心-周围颜色对比,并将该对比度值乘以分布先验,最后使用显著性平滑操作得到颜色对比显著性图;S3:计算每个超像素的颜色分布方差,并依此得到颜色分布显著性图;S4:将S2与S3得到的颜色分布显著性图相乘,再使用MeanShift分割进行精化,使物体边缘更加精细,输出最终的显著性图。本发明最终得到的显著性图能均匀的突出图像中的显著性物体,并且较好的保持物体的边缘细节,同时抑制背景干扰,有利于后续诸如目标物体分割等处理。
Description
技术领域
本发明涉及图像处理技术领域,具体地,特别涉及一种基于图像颜色对比和颜色分布的物体显著性检测方法。
背景技术
对人的视觉选择注意机制进行研究一直是一个备受关注的课题,因为这种视觉选择机制能让我们将各种计算资源集中在最有价值的信息上面。在图像中检测显著的物体是这个领域中的一个重要方面,其在自动目标定位与分割,图像检索,基于内容的图像缩放等方向都有很广泛的应用。显著性检测的结果被称为“显著性图”(Saliency Map),图上亮度越大的区域意味着越容易吸引人的注意。显著性检测方法通常可以分为两类:自底向上与自上而下。自底向上的显著性检测方法模拟人本能的视觉注意机制,利用底层特征如颜色,边缘,纹理等进行检测。自上而下的显著性检测方法利用人的视觉注意机制受先验知识与任务依赖等影响,旨在开发目标驱动的显著性检测方法。本发明主要利用图像中的颜色对比与颜色分布作为显著性检测的依据,因此本发明属于自底向上的显著性检测方法。
下面对国内外的自底向上的显著性检测方法以及专利做相关介绍。作为最早期的工作,Itti等人(“A Model of Saliency-Based Visual Attention for Rapid SceneAnalysis”)于1998年提出使用特征的中心-周围差异原理来进行显著性检测,所用特征具体包括颜色,强度与方向,并且其采用DOG(Difference of Gaussian)来实现中心周围差异的计算。Hou等人(“Saliency detection:A spectral residual approach”)于2007年提出光谱残差的方法,其在图像傅立叶变换后的幅度谱上计算光谱残差,然后再将该残差进行反变换得到显著性图。Zhai等人于2006年提出“Visual attentiondetection in video sequences using spatiotem-poral cues”,该方法定义一个像素的显著性值为该像素与图像中其余像素的亮度差异。Achanta等人(“Frequency-tuned salientregion detection”)于2009年提出一种计算快速的显著性检测方法,该方法定义一个像素的显著性值为该像素在颜色空间上与图像均值的欧氏距离。但是在具有复杂背景与纹理的自然图像上该方法很难获得令人满意的结果。Goferman等人(“Context-aware saliency detection”)于2010年利用局部特征与全局特征在多尺度估计一个图像块的显著性。该方法的缺点是计算量大,并且由于采用了局部特征,该方法有时会高亮显示目标物体的边缘部分,而并不能突出显示整个目标。Perazzi等人(“Saliency Filters:Contrast Based Filtering for Salient Region Detection”)于2012年提出将显著性检测视为图像特征上的高维高斯滤波操作。以上提到的方法存在的缺陷是常常检测出目标物体的角点,边缘,或者目标物体的某些部分,而并不能突出整个物体。
如国内相关专利:基于学习的视频中显著物体序列自动检测方法(专利号ZL200810150324.8)与基于色彩直方图和全局对比度的图像视觉显著性计算方法(专利号201110062520.1)。前者由于引入机器学习算法,处理一幅图片往往需要很长时间,因此很难满足一些实时的应用。后者定义一个像素的显著性为其与图像中其他像素的颜色对比,并且转化为颜色直方图上的量化与计算操作。该方法由于只考虑了颜色对比,其最终的显著性图中可能包含大量背景干扰,并且在具有复杂背景纹理的图像上不能得到满意的检测结果。
本发明公开的方法不同于上述所有方法,因为本发明旨在得到高质量的显著性图,其能均匀的突出目标物体,保持物体的边缘细节,并且能够较强的抑制背景干扰。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于颜色对比和颜色分布的物体显著性检测方法,该方法能有效突出图像中的显著性物体,并且较好的保持物体的边缘细节,同时抑制背景干扰,有利于后续诸如目标物体分割等处理。
本发明具体包括以下技术步骤:
S1:首先将输入图像过分割为面积较小的超像素,并计算超像素内部的平均颜色与位置;
以Ri代表图像中第i个超像素,Im∈Ri为Ri中的像素,那么Ri的平均颜色ci与位置pi定义公式为
S2:计算每个超像素的中心—周围颜色对比,再将该对比度值乘以分布先验,最后使用显著性平滑操作得到颜色对比显著性图;
其中中心—周围颜色对比按照公式
上式中D(ci,cj)=||ci-cj||2为ci与cj的欧氏距离,为空间上的限制,以增加近邻超像素对对比差异的影响,超像素Rj距离近Rj越近,则越大。对一个超像素的位置pi引入显著性分布先验,则上述公式变为
其中Dprior(pi)为位置pi的显著性分布先验。根据统计试验,通常情况下显著性物体出现在图像中间区域的可能性大于出现在图像边缘的可能性,因此引入该先验有利于排除某些具有强对比度的背景干扰,突出真正的显著性物体。
由于使用了分布先验与中心-周围对比,得到的显著性图不能很好的突出整个具有显著性颜色对比的物体,反而往往高亮显示其某一部分,因此本发明采用显著性平滑操作来改善这种现象,按照以下公式
S3:计算每个超像素的颜色分布方差,并依此得到颜色分布显著性图;
一个超像素的颜色分布方差计算公式为
上式中若位置向量为pj=(xj,yj)T,则 同(4)式。由于显著性物体的颜色在图像中的分布往往是紧凑的,因此其颜色分布方差较小;而背景颜色在图像中分布较为广泛,因此其颜色分布方差较大。根据以上分析,较小方差意味着更高的显著性,因此将所有超像素的归一化到[0,1]之间,并按照如下公式计算颜色分布显著性值
至此,得到了颜色分布显著性图。
S4:将步骤S2与步骤S3得到的显著性图相乘,再使用MeanShift分割进行精化,以消除超像素分割产生的误差,使物体的边缘更加精细,输出最终的显著性图。
将S2与S3计算的显著性图按照下式相乘
再进一步使用Meanshift分割方法将原图分割为一些面积较大的区域Rk′,意味着不同于之前的超像素过分割,同质化的背景或者前景颜色成分将被分割为一个大的区域,然后按照以下计算公式精化显著性图
其中Rk′为使用Meanshift分割原图得到的第k个区域,为区域Rk′对应的显著性,Ri超像素,Si为超像素Ri的显著性值,Im表示原图中的一个像素,为该像素的显著性值。最后再将所有的归一化到[0,1]得到最终的显著性图。显著性图中越亮的区域意味着这个区域越可能属于显著的物体。
与现有技术相比,本发明具有如下的有益效果:
本发明最终得到的显著性图能均匀的突出图像中的显著性物体,并且较好的保持物体的边缘细节,同时抑制背景干扰,有利于后续诸如目标物体分割等处理。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为输入图像(左)与过分割后图像(右);
图2为显著性平滑操作之前的中间结果(左)与最终的颜色对比显著性图(右);
图3为颜色分布显著性图(左)与非线性结合后的显著性图(右);
图4为精化后的显著性图(左)与简单阈值分割显著性物体示例(右)。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
本实施例提供一种基于颜色对比和颜色分布的物体显著性检测方法,本实施例中没有详细说明的部分可以参照发明内容中的描述。
在本实施例中对于一幅输入图像,首先按比例调整分辨率至长和宽的最大值为400像素以加快处理速度,然后按照如下详细步骤进行处理:
[1]首先使用SLIC超像素分割(Achanta等人于2010年提出“SLICSuperpixels”)将图像过分割为约500个超像素,然后按照公式(1)计算每个超像素的平均颜色与位置,输入图像与过分割图像示例见图1。
[2]按照公式(2)计算每个超像素的中心—周围对比,并乘以该超像素位置对应的显著性分布先验值。在此实施例中计算国际上现有最大的测试库所提供的1000幅显著性物体图像的物体掩码(调整至统一大小)的平均值作为显著性分布先验图,并将该显著性分布先验图归一化到[0,1]。对于一幅输入图像,先将该显著性分布先验图缩放至输入图像的分辨率,然后直接在缩放后的图像上对应位置pi获取Dprior(pi)。得到的中间结果见图2(左)。
[3]按照公式(4)平滑显著性,将平滑之后的颜色对比显著性图归一化到[0,1],得到的颜色对比显著性图见图2(右)。
[4]按照公式(5)计算每个超像素的颜色分布方差并归一化到[0,1],再按照(6)计算对应的颜色分布显著性图,得到的结果见图3(左)。
[5]将[3],[4]分别得到的颜色对比显著性图与颜色分布显著性图相乘,结果见图3(右)。
[6]利用Meanshift方法(Christoudias等人于2002年提出“Synergism in low levelvision”)将输入图像再次分割为面积较大的若干区域,将经过[5]相乘后的显著性图按照公式(8)进行精化。将精化后的显著性图归一化到[0,1],得到最终的显著性图,见图4(左),显著性图中越亮的区域意味着这个区域越可能属于显著的物体。
本实施例中,采用颜色对比与显著性先验相结合,能很好的确定图像中具有显著颜色的物体,排除背景干扰,之后采用显著性平滑操作能使得整个物体的颜色对比显著性更加的均匀。采用颜色分布能过滤掉在背景广泛分布的颜色成分,提取出分布紧凑的显著性物体的颜色。采用非线性结合,即将颜色对比与颜色分布显著性图相乘,能更好的突出目标物体,抑制背景干扰。而最终使用的基于Meanshift方法的精化操作,能消除由于超像素分割出现的错误对边缘造成的影响,使检测到的显著性图具有更加精细的边缘,较好的保持了物体的边缘细节。通过本实施例所得到的显著性图能够明显的突出图像中的显著性物体,抑制背景噪声,以致使用最简单的阈值化操作就能从最终的显著性图中分割出显著的物体,分割示例见图4(右)。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (7)
1.一种基于颜色对比和颜色分布的物体显著性检测方法,其特征在于,包括如下步骤:
S1:将输入图像过分割为面积较小的超像素,并计算超像素内部的平均颜色与位置;
S2:计算每个超像素的中心-周围颜色对比,并将该对比度值乘以分布先验,最后使用显著性平滑操作得到颜色对比显著性图;
S3:计算每个超像素的颜色分布方差,并依此得到颜色分布显著性图;
S4:将步骤S2得到的颜色对比显著性图与步骤S3得到的颜色分布显著性图相乘,再使用MeanShift分割进行精化,以消除超像素分割产生的误差,使物体边缘更加精细,输出最终的显著性图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310044869.1A CN103136766B (zh) | 2012-12-28 | 2013-02-04 | 一种基于颜色对比和颜色分布的物体显著性检测方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210585524 | 2012-12-28 | ||
CN201210585524.2 | 2012-12-28 | ||
CN2012105855242 | 2012-12-28 | ||
CN201310044869.1A CN103136766B (zh) | 2012-12-28 | 2013-02-04 | 一种基于颜色对比和颜色分布的物体显著性检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103136766A true CN103136766A (zh) | 2013-06-05 |
CN103136766B CN103136766B (zh) | 2015-10-14 |
Family
ID=48496555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310044869.1A Active CN103136766B (zh) | 2012-12-28 | 2013-02-04 | 一种基于颜色对比和颜色分布的物体显著性检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103136766B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413303A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 基于联合显著性的红外目标分割方法 |
CN103700091A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法 |
CN104123720A (zh) * | 2014-06-24 | 2014-10-29 | 小米科技有限责任公司 | 图像重定位方法、装置及终端 |
CN104268886A (zh) * | 2014-09-30 | 2015-01-07 | 合肥工业大学 | 一种基于色彩上下文抑制的图像显著性提取方法 |
CN104463870A (zh) * | 2014-12-05 | 2015-03-25 | 中国科学院大学 | 一种图像显著区域检测方法 |
CN105139018A (zh) * | 2015-08-31 | 2015-12-09 | 华南理工大学 | 基于颜色和纹理聚集度的图像显著性检测方法 |
CN105160677A (zh) * | 2015-09-01 | 2015-12-16 | 西北工业大学 | 一种适用于空间非合作目标的多特征图像分割定位方法 |
CN105809651A (zh) * | 2014-12-16 | 2016-07-27 | 吉林大学 | 基于边缘非相似性对比的图像显著性检测方法 |
CN106056579A (zh) * | 2016-05-20 | 2016-10-26 | 南京邮电大学 | 一种基于背景对比的显著性检测方法 |
CN106127197A (zh) * | 2016-04-09 | 2016-11-16 | 北京交通大学 | 一种基于显著标签排序的图像显著性目标检测方法 |
CN106404793A (zh) * | 2016-09-06 | 2017-02-15 | 中国科学院自动化研究所 | 基于视觉的轴承密封件缺陷检测方法 |
US9665925B2 (en) | 2014-06-24 | 2017-05-30 | Xiaomi Inc. | Method and terminal device for retargeting images |
CN108876753A (zh) * | 2017-05-16 | 2018-11-23 | 苹果公司 | 使用引导图像对合成长曝光图像进行可选增强 |
CN109213886A (zh) * | 2018-08-09 | 2019-01-15 | 山东师范大学 | 基于图像分割和模糊模式识别的图像检索方法及系统 |
CN110084782A (zh) * | 2019-03-27 | 2019-08-02 | 西安电子科技大学 | 基于图像显著性检测的全参考图像质量评价方法 |
CN110135435A (zh) * | 2019-04-17 | 2019-08-16 | 上海师范大学 | 一种基于广度学习系统的显著性检测方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040170318A1 (en) * | 2003-02-28 | 2004-09-02 | Eastman Kodak Company | Method for detecting color objects in digital images |
CN102722891A (zh) * | 2012-06-12 | 2012-10-10 | 大连理工大学 | 一种图像显著度检测的方法 |
-
2013
- 2013-02-04 CN CN201310044869.1A patent/CN103136766B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040170318A1 (en) * | 2003-02-28 | 2004-09-02 | Eastman Kodak Company | Method for detecting color objects in digital images |
CN102722891A (zh) * | 2012-06-12 | 2012-10-10 | 大连理工大学 | 一种图像显著度检测的方法 |
Non-Patent Citations (1)
Title |
---|
谢玉磷: ""贝叶斯框架下的图像显著性检测"", 《中国优秀硕士学位论文全文数据库(电子期刊) 信息科技辑》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103413303B (zh) * | 2013-07-29 | 2016-02-10 | 西北工业大学 | 基于联合显著性的红外目标分割方法 |
CN103413303A (zh) * | 2013-07-29 | 2013-11-27 | 西北工业大学 | 基于联合显著性的红外目标分割方法 |
CN103700091A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法 |
CN103700091B (zh) * | 2013-12-01 | 2016-08-31 | 北京航空航天大学 | 基于多尺度低秩分解且结构信息敏感的图像显著性物体检测方法 |
US9665925B2 (en) | 2014-06-24 | 2017-05-30 | Xiaomi Inc. | Method and terminal device for retargeting images |
CN104123720B (zh) * | 2014-06-24 | 2017-07-04 | 小米科技有限责任公司 | 图像重定位方法、装置及终端 |
CN104123720A (zh) * | 2014-06-24 | 2014-10-29 | 小米科技有限责任公司 | 图像重定位方法、装置及终端 |
CN104268886B (zh) * | 2014-09-30 | 2017-01-18 | 合肥工业大学 | 一种基于色彩上下文抑制的图像显著性提取方法 |
CN104268886A (zh) * | 2014-09-30 | 2015-01-07 | 合肥工业大学 | 一种基于色彩上下文抑制的图像显著性提取方法 |
CN104463870A (zh) * | 2014-12-05 | 2015-03-25 | 中国科学院大学 | 一种图像显著区域检测方法 |
CN105809651B (zh) * | 2014-12-16 | 2019-02-22 | 吉林大学 | 基于边缘非相似性对比的图像显著性检测方法 |
CN105809651A (zh) * | 2014-12-16 | 2016-07-27 | 吉林大学 | 基于边缘非相似性对比的图像显著性检测方法 |
CN105139018A (zh) * | 2015-08-31 | 2015-12-09 | 华南理工大学 | 基于颜色和纹理聚集度的图像显著性检测方法 |
CN105139018B (zh) * | 2015-08-31 | 2018-06-19 | 华南理工大学 | 基于颜色和纹理聚集度的图像显著性检测方法 |
CN105160677A (zh) * | 2015-09-01 | 2015-12-16 | 西北工业大学 | 一种适用于空间非合作目标的多特征图像分割定位方法 |
CN105160677B (zh) * | 2015-09-01 | 2018-03-06 | 西北工业大学 | 一种适用于空间非合作目标的多特征图像分割定位方法 |
CN106127197A (zh) * | 2016-04-09 | 2016-11-16 | 北京交通大学 | 一种基于显著标签排序的图像显著性目标检测方法 |
CN106056579A (zh) * | 2016-05-20 | 2016-10-26 | 南京邮电大学 | 一种基于背景对比的显著性检测方法 |
CN106404793B (zh) * | 2016-09-06 | 2020-02-28 | 中国科学院自动化研究所 | 基于视觉的轴承密封件缺陷检测方法 |
CN106404793A (zh) * | 2016-09-06 | 2017-02-15 | 中国科学院自动化研究所 | 基于视觉的轴承密封件缺陷检测方法 |
CN108876753A (zh) * | 2017-05-16 | 2018-11-23 | 苹果公司 | 使用引导图像对合成长曝光图像进行可选增强 |
CN108876753B (zh) * | 2017-05-16 | 2022-04-29 | 苹果公司 | 使用引导图像对合成长曝光图像进行可选增强 |
CN109213886A (zh) * | 2018-08-09 | 2019-01-15 | 山东师范大学 | 基于图像分割和模糊模式识别的图像检索方法及系统 |
CN109213886B (zh) * | 2018-08-09 | 2021-01-08 | 山东师范大学 | 基于图像分割和模糊模式识别的图像检索方法及系统 |
CN110084782A (zh) * | 2019-03-27 | 2019-08-02 | 西安电子科技大学 | 基于图像显著性检测的全参考图像质量评价方法 |
CN110084782B (zh) * | 2019-03-27 | 2022-02-01 | 西安电子科技大学 | 基于图像显著性检测的全参考图像质量评价方法 |
CN110135435A (zh) * | 2019-04-17 | 2019-08-16 | 上海师范大学 | 一种基于广度学习系统的显著性检测方法及装置 |
CN110135435B (zh) * | 2019-04-17 | 2021-05-18 | 上海师范大学 | 一种基于广度学习系统的显著性检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103136766B (zh) | 2015-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103136766B (zh) | 一种基于颜色对比和颜色分布的物体显著性检测方法 | |
Wei et al. | Geodesic saliency using background priors | |
Huang et al. | An advanced single-image visibility restoration algorithm for real-world hazy scenes | |
Chen et al. | A novel color edge detection algorithm in RGB color space | |
CN105404888B (zh) | 结合颜色和深度信息的显著性目标检测方法 | |
CN103745468A (zh) | 一种基于图结构和边界先验的显著性物体检测方法 | |
TW200834459A (en) | Video object segmentation method applied for rainy situations | |
CN105631455A (zh) | 一种图像主体提取方法及系统 | |
CN103914834A (zh) | 一种基于前景先验和背景先验的显著性物体检测方法 | |
CN102025981B (zh) | 一种监控视频中的前景检测的方法 | |
CN102968782A (zh) | 一种彩色图像中显著对象的自动抠取方法 | |
WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
CN104680546A (zh) | 一种图像显著目标检测方法 | |
CN103208115A (zh) | 基于测地线距离的图像显著性区域检测方法 | |
CN102129694B (zh) | 一种图像显著区域检测方法 | |
CN104537634A (zh) | 动态图像中去除雨滴影响的方法和系统 | |
Cui et al. | Single image dehazing by latent region‐segmentation based transmission estimation and weighted L1‐norm regularisation | |
CN104463855A (zh) | 一种基于频域和空域结合的显著区域检测方法 | |
Fang et al. | Single image dehazing and denoising with variational method | |
CN104599256A (zh) | 基于单幅图像的去除图像雨线的方法和系统 | |
CN111681198A (zh) | 一种形态学属性滤波多模融合成像方法、系统及介质 | |
Chen et al. | Motion saliency detection using a temporal fourier transform | |
CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
Liao et al. | Efficient image dehazing using boundary conditions and local contrast | |
Wang et al. | Haze removal algorithm based on single-images with chromatic properties |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |