CN103136766A - 一种基于颜色对比和颜色分布的物体显著性检测方法 - Google Patents

Abstract

本发明提供了一种基于颜色对比和颜色分布的物体显著性检测方法，步骤包括S1：将输入图像过分割为面积较小的超像素，并计算超像素内部的平均颜色与位置；S2：计算每个超像素的中心－周围颜色对比，并将该对比度值乘以分布先验，最后使用显著性平滑操作得到颜色对比显著性图；S3：计算每个超像素的颜色分布方差，并依此得到颜色分布显著性图；S4：将S2与S3得到的颜色分布显著性图相乘，再使用MeanShift分割进行精化，使物体边缘更加精细，输出最终的显著性图。本发明最终得到的显著性图能均匀的突出图像中的显著性物体，并且较好的保持物体的边缘细节，同时抑制背景干扰，有利于后续诸如目标物体分割等处理。

Description

一种基于颜色对比和颜色分布的物体显著性检测方法

技术领域

本发明涉及图像处理技术领域，具体地，特别涉及一种基于图像颜色对比和颜色分布的物体显著性检测方法。

背景技术

对人的视觉选择注意机制进行研究一直是一个备受关注的课题，因为这种视觉选择机制能让我们将各种计算资源集中在最有价值的信息上面。在图像中检测显著的物体是这个领域中的一个重要方面，其在自动目标定位与分割，图像检索，基于内容的图像缩放等方向都有很广泛的应用。显著性检测的结果被称为“显著性图”（Saliency Map），图上亮度越大的区域意味着越容易吸引人的注意。显著性检测方法通常可以分为两类：自底向上与自上而下。自底向上的显著性检测方法模拟人本能的视觉注意机制，利用底层特征如颜色，边缘，纹理等进行检测。自上而下的显著性检测方法利用人的视觉注意机制受先验知识与任务依赖等影响，旨在开发目标驱动的显著性检测方法。本发明主要利用图像中的颜色对比与颜色分布作为显著性检测的依据，因此本发明属于自底向上的显著性检测方法。

下面对国内外的自底向上的显著性检测方法以及专利做相关介绍。作为最早期的工作，Itti等人（“A Model of Saliency-Based Visual Attention for Rapid SceneAnalysis”）于1998年提出使用特征的中心－周围差异原理来进行显著性检测，所用特征具体包括颜色，强度与方向，并且其采用DOG（Difference of Gaussian）来实现中心周围差异的计算。Hou等人（“Saliency detection:A spectral residual approach”）于2007年提出光谱残差的方法，其在图像傅立叶变换后的幅度谱上计算光谱残差，然后再将该残差进行反变换得到显著性图。Zhai等人于2006年提出“Visual attentiondetection in video sequences using spatiotem-poral cues”，该方法定义一个像素的显著性值为该像素与图像中其余像素的亮度差异。Achanta等人（“Frequency-tuned salientregion detection”）于2009年提出一种计算快速的显著性检测方法，该方法定义一个像素的显著性值为该像素在颜色空间上与图像均值的欧氏距离。但是在具有复杂背景与纹理的自然图像上该方法很难获得令人满意的结果。Goferman等人（“Context-aware saliency detection”）于2010年利用局部特征与全局特征在多尺度估计一个图像块的显著性。该方法的缺点是计算量大，并且由于采用了局部特征，该方法有时会高亮显示目标物体的边缘部分，而并不能突出显示整个目标。Perazzi等人（“Saliency Filters:Contrast Based Filtering for Salient Region Detection”）于2012年提出将显著性检测视为图像特征上的高维高斯滤波操作。以上提到的方法存在的缺陷是常常检测出目标物体的角点，边缘，或者目标物体的某些部分，而并不能突出整个物体。

如国内相关专利：基于学习的视频中显著物体序列自动检测方法（专利号ZL200810150324.8）与基于色彩直方图和全局对比度的图像视觉显著性计算方法（专利号201110062520.1）。前者由于引入机器学习算法，处理一幅图片往往需要很长时间，因此很难满足一些实时的应用。后者定义一个像素的显著性为其与图像中其他像素的颜色对比，并且转化为颜色直方图上的量化与计算操作。该方法由于只考虑了颜色对比，其最终的显著性图中可能包含大量背景干扰，并且在具有复杂背景纹理的图像上不能得到满意的检测结果。

本发明公开的方法不同于上述所有方法，因为本发明旨在得到高质量的显著性图，其能均匀的突出目标物体，保持物体的边缘细节，并且能够较强的抑制背景干扰。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于颜色对比和颜色分布的物体显著性检测方法，该方法能有效突出图像中的显著性物体，并且较好的保持物体的边缘细节，同时抑制背景干扰，有利于后续诸如目标物体分割等处理。

本发明具体包括以下技术步骤：

S1：首先将输入图像过分割为面积较小的超像素，并计算超像素内部的平均颜色与位置；

以R_i代表图像中第i个超像素，I_m∈R_i为R_i中的像素，那么R_i的平均颜色c_i与位置p_i定义公式为

$c_i=\frac{\underset{I_m\∈R_i}{\mathrm{\Σ}}{I}_m^C}{\left|R_i\right|},p_i=\frac{\underset{I_m\∈R_i}{\mathrm{\Σ}}{I}_m^P}{\left|R_i\right|}---\left(1\right)$

其中

为像素I_m的颜色向量，

为像素I_m的位置向量，|R_i|表示R_i中像素的个数，即该超像素的总面积。

S2：计算每个超像素的中心—周围颜色对比，再将该对比度值乘以分布先验，最后使用显著性平滑操作得到颜色对比显著性图；

其中中心—周围颜色对比按照公式

$S_i^{\mathrm{contrast}}=\underset{j\≠i}{\mathrm{\Σ}}D{(c_i,c_j)}^2{w}_{\mathrm{ij}}^p---\left(2\right)$

上式中D(c_i,c_j)=||c_i-c_j||₂为c_i与c_j的欧氏距离，

为空间上的限制，以增加近邻超像素对对比差异的影响，超像素R_j距离近R_j越近，则

越大。对一个超像素的位置p_i引入显著性分布先验，则上述公式变为

$S_i^{\mathrm{contrast}}=D^{\mathrm{prior}}\left(p_i\right)\underset{j\≠i}{\mathrm{\Σ}}D{(c_i,c_j)}^2{w}_{\mathrm{ij}}^p---\left(3\right)$

其中D^prior(p_i)为位置p_i的显著性分布先验。根据统计试验，通常情况下显著性物体出现在图像中间区域的可能性大于出现在图像边缘的可能性，因此引入该先验有利于排除某些具有强对比度的背景干扰，突出真正的显著性物体。

由于使用了分布先验与中心－周围对比，得到的显著性图不能很好的突出整个具有显著性颜色对比的物体，反而往往高亮显示其某一部分，因此本发明采用显著性平滑操作来改善这种现象，按照以下公式

$\stackrel{\‾}{S_i^{\mathrm{contrast}}}=\underset{j}{\mathrm{\Σ}}{S}_j^{\mathrm{contrast}}{w}_{\mathrm{ij}}^C---\left(4\right)$

其中

为平滑后第i个超像素的颜色对比显著性。

表示第i个超像素与第j个超像素的颜色上的相似性权值，之间颜色越相近则越大。采用该显著性平滑操作可以使得同一物体的显著性更加均匀。

最后将图像中所有

归一化到[0,1]之间得到最终颜色对比显著性图。

S3：计算每个超像素的颜色分布方差，并依此得到颜色分布显著性图；

一个超像素的颜色分布方差计算公式为

$D_i^{\mathrm{distribution}}=\left|\right|{\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}^C{p}_j^2-{\left(\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}^C{p}_j\right)}^2\left|\right|}_1---\left(5\right)$

上式中若位置向量为p_j=(x_j,y_j)^T，则

同(4)式。由于显著性物体的颜色在图像中的分布往往是紧凑的，因此其颜色分布方差较小；而背景颜色在图像中分布较为广泛，因此其颜色分布方差较大。根据以上分析，较小方差意味着更高的显著性，因此将所有超像素的

归一化到[0,1]之间，并按照如下公式计算颜色分布显著性值

$S_i^{\mathrm{distribution}}=1-D_i^{\mathrm{distribution}}---\left(6\right)$

至此，得到了颜色分布显著性图。

S4：将步骤S2与步骤S3得到的显著性图相乘，再使用MeanShift分割进行精化，以消除超像素分割产生的误差，使物体的边缘更加精细，输出最终的显著性图。

将S2与S3计算的显著性图按照下式相乘

$S_i=\stackrel{\‾}{S_i^{\mathrm{contrast}}}\×S_i^{\mathrm{distribution}}---\left(7\right)$

再进一步使用Meanshift分割方法将原图分割为一些面积较大的区域R_k′，意味着不同于之前的超像素过分割，同质化的背景或者前景颜色成分将被分割为一个大的区域，然后按照以下计算公式精化显著性图

$\widehat{S_k}=\frac{\underset{I_m\∈{R_k}^{\′}}{\mathrm{\Σ}}{I}_m^S}{\left|{R_k}^{\′}\right|}s.t.I_m^S=S_i{|}_{I_m\∈R_i}$

其中R_k′为使用Meanshift分割原图得到的第k个区域，

为区域R_k′对应的显著性，R_i超像素，S_i为超像素R_i的显著性值，I_m表示原图中的一个像素，

为该像素的显著性值。最后再将所有的

归一化到[0，1]得到最终的显著性图。显著性图中越亮的区域意味着这个区域越可能属于显著的物体。

与现有技术相比，本发明具有如下的有益效果：

本发明最终得到的显著性图能均匀的突出图像中的显著性物体，并且较好的保持物体的边缘细节，同时抑制背景干扰，有利于后续诸如目标物体分割等处理。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为输入图像（左）与过分割后图像（右）；

图2为显著性平滑操作之前的中间结果（左）与最终的颜色对比显著性图（右）；

图3为颜色分布显著性图（左）与非线性结合后的显著性图（右）；

图4为精化后的显著性图（左）与简单阈值分割显著性物体示例（右）。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本实施例提供一种基于颜色对比和颜色分布的物体显著性检测方法，本实施例中没有详细说明的部分可以参照发明内容中的描述。

在本实施例中对于一幅输入图像，首先按比例调整分辨率至长和宽的最大值为400像素以加快处理速度，然后按照如下详细步骤进行处理：

[1]首先使用SLIC超像素分割（Achanta等人于2010年提出“SLICSuperpixels”）将图像过分割为约500个超像素，然后按照公式(1)计算每个超像素的平均颜色与位置，输入图像与过分割图像示例见图1。

[2]按照公式(2)计算每个超像素的中心—周围对比，并乘以该超像素位置对应的显著性分布先验值。在此实施例中计算国际上现有最大的测试库所提供的1000幅显著性物体图像的物体掩码（调整至统一大小）的平均值作为显著性分布先验图，并将该显著性分布先验图归一化到[0,1]。对于一幅输入图像，先将该显著性分布先验图缩放至输入图像的分辨率，然后直接在缩放后的图像上对应位置p_i获取D^prior(p_i)。得到的中间结果见图2（左）。

[3]按照公式(4)平滑显著性，将平滑之后的颜色对比显著性图归一化到[0,1]，得到的颜色对比显著性图见图2（右）。

[4]按照公式(5)计算每个超像素的颜色分布方差并归一化到[0,1]，再按照(6)计算对应的颜色分布显著性图，得到的结果见图3（左）。

[5]将[3],[4]分别得到的颜色对比显著性图与颜色分布显著性图相乘，结果见图3（右）。

[6]利用Meanshift方法(Christoudias等人于2002年提出“Synergism in low levelvision”)将输入图像再次分割为面积较大的若干区域，将经过[5]相乘后的显著性图按照公式(8)进行精化。将精化后的显著性图归一化到[0,1]，得到最终的显著性图，见图4（左），显著性图中越亮的区域意味着这个区域越可能属于显著的物体。

本实施例中，采用颜色对比与显著性先验相结合，能很好的确定图像中具有显著颜色的物体，排除背景干扰，之后采用显著性平滑操作能使得整个物体的颜色对比显著性更加的均匀。采用颜色分布能过滤掉在背景广泛分布的颜色成分，提取出分布紧凑的显著性物体的颜色。采用非线性结合，即将颜色对比与颜色分布显著性图相乘，能更好的突出目标物体，抑制背景干扰。而最终使用的基于Meanshift方法的精化操作，能消除由于超像素分割出现的错误对边缘造成的影响，使检测到的显著性图具有更加精细的边缘，较好的保持了物体的边缘细节。通过本实施例所得到的显著性图能够明显的突出图像中的显著性物体，抑制背景噪声，以致使用最简单的阈值化操作就能从最终的显著性图中分割出显著的物体，分割示例见图4（右）。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于颜色对比和颜色分布的物体显著性检测方法，其特征在于，包括如下步骤：

S1：将输入图像过分割为面积较小的超像素，并计算超像素内部的平均颜色与位置；

S2：计算每个超像素的中心－周围颜色对比，并将该对比度值乘以分布先验，最后使用显著性平滑操作得到颜色对比显著性图；

S3：计算每个超像素的颜色分布方差，并依此得到颜色分布显著性图；

S4：将步骤S2得到的颜色对比显著性图与步骤S3得到的颜色分布显著性图相乘，再使用MeanShift分割进行精化，以消除超像素分割产生的误差，使物体边缘更加精细，输出最终的显著性图。

2.如权利要求1所述的一种基于颜色对比和颜色分布的物体显著性检测方法，其特征在于，所述步骤S2中，计算第i个超像素R_i的中心－周围颜色对比，并将该对比度值乘以分布先验，具体的公式为

$S_i^{\mathrm{contrast}}=D^{\mathrm{prior}}\left(p_i\right)\underset{j\≠i}{\mathrm{\Σ}}D{(c_i,c_j)}^2{w}_{\mathrm{ij}}^p$

其中i,j表示下标，p_i表示第i个超像素R_i的位置，c_i,c_j表示第i个超像素R_i和第j个超像素R_j内部的平均颜色向量，D^prior(p_i)为位置p_i的显著性分布先验，D(c_i,c_j)=||c_i-c_j||₂为颜色向量c_i与c_j的欧氏距离，

为空间上的限制，以增加近邻超像素对对比差异的影响，超像素R_i距离R_j越近，则

越大。

3.如权利要求1或2所述的一种基于颜色对比和颜色分布的物体显著性检测方法，其特征在于，所述步骤S2中，显著性平滑操作具体的公式为

$\stackrel{\‾}{S_i^{\mathrm{contrast}}}=\underset{j}{\mathrm{\Σ}}{S}_j^{\mathrm{contrast}}{w}_{\mathrm{ij}}^C$

其中

为平滑后第i个超像素的颜色对比显著性，

表示第i个超像素与第j个超像素的颜色上的相似性权值，之间颜色越相近则

越大。

4.如权利要求1所述的一种基于颜色对比和颜色分布的物体显著性检测方法，其特征在于，所述步骤S3中，计算每个超像素的颜色分布方差的公式为

$D_i^{\mathrm{distribution}}={\left|\right|\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}^C{p}_j^2-{\left(\underset{j}{\mathrm{\Σ}}{w}_{\mathrm{ij}}^C{p}_j\right)}^2\left|\right|}_1$

上式中若位置向量表示为p_j=(x_j,y_j)^T，则

表示第i个超像素与第j个超像素的颜色上的相似性权值，之间颜色越相近则越大。

5.如权利要求1或4所述的一种基于颜色对比和颜色分布的物体显著性检测方法，其特征在于，所述步骤S3中，根据超像素颜色分布方差得到其对应颜色分布显著性的公式为

$S_i^{\mathrm{distribution}}=1-D_i^{\mathrm{distribution}}$

其中

为超像素的颜色分布方差。

6.如权利要求1所述的一种基于颜色对比和颜色分布的物体显著性检测方法，其特征在于，所述步骤S4中，将步骤S2得到的颜色对比显著性图与步骤S3得到的颜色分布显著性图相乘，公式为

$S_i=\stackrel{\‾}{S_i^{\mathrm{contrast}}}\×S_i^{\mathrm{distribution}}$

其中

为经过步骤S2得到的超像素的颜色对比显著性，

为经过步骤S3得到的颜色分布显著性。

7.如权利要求1或6所述的一种基于颜色对比和颜色分布的物体显著性检测方法，其特征在于，所述步骤S4中，使用Meanshift分割对显著性图进行精化，具体公式为

$\widehat{S_k}=\frac{\underset{I_m\∈{R_k}^{\′}}{\mathrm{\Σ}}{I}_m^S}{\left|{R_k}^{\′}\right|}s.t.I_m^S=S_i{|}_{I_m\∈R_i}$

其中R_k′为使用Meanshift分割原图得到的第k个区域，

为区域R_k′对应的显著性，R_i超像素，S_i为超像素R_i的显著性值，I_m表示原图中的一个像素，

为该像素的显著性值。

Images