CN107123150B - 全局颜色对比度检测和分割显著图的方法 - Google Patents

Abstract

本发明属于彩色图像处理技术领域，具体一种全局颜色对比度检测和分割显著图的方法。本发明方法包括显著性检测和显著图分割，显著性检测采用全局颜色对比度方法，显著图分割采用动态阈值方法。本发明首先通过提取全局颜色对比度的特征获取初步的显著图，然后再利用颜色离散度和空间信息来进一步提高它们的显著性；以上述生成的显著图作为初始值，通过迭代动态更新的阈值，来分割多个显著性目标。在公开Achanta数据库上的实验结果表明：本发明在ROC曲线上的表现优于文献报道中的方法，并且适用于多目标的检测与分割问题。

Description

全局颜色对比度检测和分割显著图的方法

技术领域

本发明属于彩色图像处理技术领域，具体涉及全局颜色对比度的显著性检测和分割方法。

背景技术

任一时刻，环境中均存在大量的视觉刺激。经过漫长的进化，人类视觉系统(HumanVisual System,HVS)能够从复杂环境中，快速提取感兴趣的目标与区域，以降低视觉信号处理的复杂度。这些引起视觉注意力的局部区域，通常被称为显著性区域(saliencyregion)。将场景中各个区域的显著性，进行归一化后得到的图像则称为显著图(saliencymap)^[1]。

在图像处理与计算机视觉中，鲁棒准确的显著性区域自动检测算法具有重要的实用价值。这是因为从计算复杂度角度考虑，一些图像的处理任务，常常无法做到对视觉场景中的全部视觉信息同时进行处理，这时，希望显著性强的区域获得更多的计算资源。其主要的应用场景包括目标检测与追踪、自适应图像压缩、图像编辑、图像质量评估等。

近年来，文献报道了大量显著性检测算法^[1]-[6]。大部分此类算法试图利用亮度、颜色、边缘等底层特征，来确定某一区域与其周围区域的对比度，以计算获取显著性区域。其中，基于局部对比度的方法，是利用图像区域相对于邻域的稀缺性来检测显著性。如经典的Itti&Koch^[1]方法，就是利用多尺度图像特征的中心与环绕差异来计算显著图，而文献[2]则提出了基于傅立叶变换相位谱的方法。另一类是基于全局对比度的方法，它们根据图像区域相对于全局的对比度差异来计算显著性，包括R Achanta等人在文献[3]提出的基于频率调整的显著性检测与分割算法，文献[4]报道了最大化显著性密度函数的方法。这些现有报道算法的主要缺点是：基于局部对比度类的算法，往往是通过检测图像边缘来计算显著性，因此只有目标的边缘才可以产生较高的显著性；而其他一些算法则只能检测全局最大显著性，因而不适用于多目标检测问题；忽略图像部分空间关系的算法，则未有效利用空间信息等等。

发明内容

本发明的目的在于提供一种能够应对不规则背景干扰，检测与分割正确性高的全局颜色对比度检测和分割显著图的方法。

本发明提供的全局颜色对比度检测和分割显著图的方法，包括两部分：显著性检测和显著图分割；其中：

(一)显著性检测，采用全局颜色对比度方法，具体步骤为：

1.1全局颜色对比度分析

在彩色图像中，一个彩色像素点通常由RGB三个通道联合加以表示。如果将彩色图像从RGB空间转换到L*a*b空间^[7][8]，那么其中的L分量就描述了像素点的亮度，而a和b分量则描述了像素点的色度。如果定义像素点I_i的颜色为c_i，那么c_i在L*a*b空间就可以表示为c_i＝(L_i,a_i,b_i)，这样像素点I_i和I_j的颜色对比度则可定义为c_i和c_j的欧式几何距离，即：

D(I_i,I_j)＝D(c_i,c_j)＝[(L_i-L_j)²+(a_i-a_j)²+(b_i-b_j)²]^1/2 (1)

式(1)表明：如果像素点I_i和I_j的颜色对比度越强，那么D(I_i,I_j)值就越大。

在复杂场景中，人类视觉系统会根据高对比度的刺激，来准确判断目标的显著性，因此显著性目标和周围环境相比，往往具有较强的颜色对比度^[5]。基于这一观察，对任一幅彩色图像I，我们就可定义某一像素点I_i的显著性S(I_i)，是该像素点与其它所有像素点之间的颜色对比度之和^[5]，数学上，这一定义可以写成下式：

S(I_i)＝D(I_i,I₁)+D(I_i,I₂)+...+D(I_i,I_N) (2)

其中，N代表图像I的总像素点，D(I_i,I_j)(j＝1，2，...，N)是像素点I_i和I_j之间的颜色对比度。

此外，从式(1)和(2)可以看出，定义的显著性S(I_i)只与像素点I_i的颜色c_i相关。对于图像I中任意两个相同颜色的像素点I_j和I_k，有D(I_i,I_j)＝D(I_i,I_k)。因此，我们可以将式(2)右边相同颜色的像素点整合在一起而得到下式：

其中，n代表图像I的总颜色个数；f(c_j)是颜色c_j在图像I中出现的频次。

1.2颜色的聚类与量化

将彩色图像从RGB颜色空间转换到L*a*b空间，共有256³种不同的颜色，因此计算式(3)的复杂度非常高。我们注意到，对图像显著性产生决定性影响的往往是图像中的几种主要颜色，考虑到人类视觉系统存在的掩盖效应，即人眼不能察觉低于灵敏度阈值的差异_[9],因此，我们可采用K-means算法来对在L*a*b空间的像素点进行聚类，其中心个数设置为M，像素点I_i聚类后的颜色为r_i，那么式(3)就能简化为：

在本发明中，我们取M的值为8。为了说明式(4)的有效性，让我们来看图1给出的例子，图1(a)是测试图像，图1(b)是据文献[14]给出的基于小波金字塔分解方法计算出的显著图，图1(c)是由我们的式(4)所获得的显著图。可以看到，文献[14]的局部对比度的方法只在图像边缘处产生较高的显著性，而本发明方法则能够均匀地突出显著性目标。

1.3颜色的离散度与边缘加权

除了全局颜色对比度，空间信息对于视觉注意力选择机制也具有重要的影响^[9]。在自然场景中，显著性目标往往具有规则的形状，并且在空间分布较为集中，而天空、云彩、河流等目标则在空间分布比较离散。因此，下面将讨论如何利用颜色在空间上的离散度，来进一步提高显著图的显著性。为此我们定义某个颜色在空间上的分布离散度，是该颜色像素点在空间位置上的方差，数学上它的定义如下：

其中，(x₀,y₀)为聚类后颜色为r_i的像素区域中心，(x_i,y_i)是该区域内像素点的坐标，K则是该区域像素点个数，并归一化它们的坐标到[0,1]区间。

定义用颜色离散度来增强显著性式(4)的结果就为：

其中，σ²是颜色离散度的加权权重。σ²越接近0时，颜色离散度对显著图的影响就越大，反之则小。根据经验，σ²的取值区间可为[0.1,0.3]。本发明实验中取σ²的值为0.2。

颜色离散度加权的显著性，有利于提高对大范围非显著性目标的抑制，如天空、云彩、河流等。图2给出了这样一个例子，其中图2(a)为测试图像，图2(b)为未加权计算的显著图，图2(c)为σ²取值0.2时由式(6)获得的显著图。可以看到，由于大面积云彩的离散度较高，颜色离散度加权使得其显著性大为降低，因而有利于正确地检测原图中的显著性目标。

另外，考虑到自然场景中，显著性目标往往位于图像中间的位置，与图像边缘重合的区域显著性一般较低。因此，我们将可将图像I视为无向图G，I中的像素点是G中的顶点，相邻顶点之间存在一条边e。这样我们就可采用图的广度搜索算法^[10]，将与图像边缘重合区域的显著性进行降低：

S(I_i)＝S(I_i)'*β (7)

其中，I_i∈Θ，区域Θ内的像素点满足：存在一条从图像边缘某一点I_mar到I_i的路径，且该路径上各像素点经过聚类后的颜色相等。其中，S(I_i)'是原始显著性，S(I_i)是加权后的显著性，β是权值，β越接近0表示边缘部分显著性的权值就越低。一般β取值区间可为[0.1,0.8]。本发明实验中取β的值为0.5。

(二)分割显著图分割，采用动态阈值方法

显著性目标通常是我们关心的目标，为了对它们进行进一步处理，例如在视频图像中对它们进行跟踪，我们希望对上节研究的显著图做进一步处理，即分割出显著图中的显著性目标，并得到包含显著性目标的二值图像。为此，本发明首先根据显著图初始化前景目标和背景区域，并设其它区域为待定区域，再根据前景和背景的统计信息对待定区域中的像素点做进一步划分，经过多次迭代后，使待定区域面积为0，以达到分割出显著性目标的目的。其处理的具体步骤如下：

(1)初始化：设输入归一化后的显著图为S，首先采用固定阈值初步分割出前景和背景区域。在本发明中，前景阈值hi取值范围[0.6,1]，这里选为0.7，背景阈值lo取值范围[0.1,0.3]，选为0.2。其它区域设为待定。

(2)迭代：

(2.1)统计信息：统计计算出前景区域的均值mean_t和最小值min_t，以及背景区域的均值mean_b和最大值max_b。据下式更新前景阈值hi和背景阈值lo：

其中，μ为前景阈值的迭代步长，(1-mean_t+min_t)为步长加权值，取值范围为[0,1]。观察显著图可以发现，目标的显著性统计分布常常较为集中，因此，当目标区域的显著性最小值距离均值越远，说明待定区域中存在目标的可能性越小，此时应越谨慎更新目标区域。当目标区域的显著性最小值距离均值越远，(1-mean_t+min_t)的值则越小，此时(1-mean_t+min_t)μ整体就越小，因此就有较少待定区域的点会被归入目标区域，与我们的期望符合。ν为背景阈值迭代步长，(1-mean_b+max_b)为步长加权值，其意义同步长加权值(1-mean_t+min_t)。μ和ν初始值均设为0.05。

(2.2)更新前景与背景区域：对待定区域中的像素点，可据式(8)更新前景阈值hi和背景阈值lo。当显著值式(7)同时落入前景和背景区域时，该像素点将归入区域均值离它显著值最近的区域。

(2.3)更新迭代步长：此时，如果前景区域已经更新，则保持迭代步长μ不变；否则，说明没有新的像素点归入前景区域，此时迭代步长μ应增大。根据实验，选择迭代步长的增量为0.05，即μ＝μ+0.05。对背景区域的迭代步长更新方式同前景区域迭代步长更新方式。

(2.4)如果待定区域面积为0，则跳出循环，否则重复步骤2。

(3)输出：输出前景区域，即得到包含显著性目标的二值图像。

此外，为避免局部亮点显著性过高而掩盖了真实的目标，我们设置前景区域占整幅画面比例至少为整幅画面的10％。如果在迭代过程中没有达到这一比例，则我们持续地增大前景区域的迭代步长μ，以便更多待定区域中的像素点能归入前景区域。

本发明从全局颜色对比度的角度研究如何检测显著性，并通过颜色离散度和空间信息来进一步优化检测到的显著图。在此基础上，为了有效地分割显著图中的多个目标，本发明通过迭代更新的方法来动态地计算分割阈值，利用它来分割得到二值图像并为后续目标追踪等图像处理问题提供自动目标检测的方法。相比于传统的显著性检测和分割方法，本发明算法的主要优点在于：

(1)利用颜色信息建立起全局的对比度，对图像中相似的区域赋予相近的显著性，因此有利于均匀地突出全部目标；

(2)利用颜色离散度和空间信息来对得到的显著图进行进一步增强，以应对白云等不规则背景的干扰；

(3)根据前景目标与背景区域的均值、方差等统计信息，通过迭代方法来动态地计算分割阈值，以提高了多目标检测与分割的正确性。

附图说明

图1为全局对比度与局部对比度方法生成的显著图。

图2为颜色离散度加权的效果。

图3为本发明算法用于显著性检测和分割的视觉效果。

图4为不同显著图模型的ROC曲线。

具体实施方式

首先，我们选取Achanta数据库中的部分图像，用本发明算法检测和分割它们中的显著性目标，实验中取σ²的值为0.2；hi取值范围[0.6,1]，这里选为0.7，背景阈值lo取值范围[0.1,0.3]，选为0.2；迭代步长μ和ν初始值均设为0.05，μ和μ的增量均为0.05，一般增量和迭代步长可取[0,0.1]范围内的值。其视觉效果如图3所示。

在图3中，图3(a)为测试图像，图3(b)是本发明算法得到的显著图，图3(c)～(d)是分割算法在迭代过程中生成的目标二值图像，图3(e)是最终包含显著性目标的二值图像，图3(f)是由人工标记的目标二值图像。

从图3可以看到，本发明算法利用全局颜色对比度，并结合颜色离散度和边缘加权能够将大范围的目标和背景分离开。在之后迭代的分割算法中，利用已确定的前景背景区域的统计信息，谨慎地更新待定区域，从而能够有效地提取出显著性目标。特别是，从图3中第1，2，4幅测试图像可看出，本发明算法适用于多目标的自动检测。

采用正确率precision、召回率recall和F-测度F-measure等指标，来对本发明的显著性检测和分割算法进行定量的分析。假设人工标记的二值图像为Rmap，由客观显著性算法所得到的二值图像为SMap，则其各项指标可具体定义如下^[3]：

据文献[3]中的实验方法，采用固定阈值T_f来分割显著图，以得到包含显著性目标的二值图像。对于数据库中的所有图像，分别取正确率和召回率的均值，来作为算法在阈值为T_f时的正确率Precision和召回率Recall。通过选取不同的阈值T_f，以Precision为纵轴、Recall为横轴，绘制出ROC(Receiver Operating Characteristics)曲线。在随机分割算法中，ROC曲线为y＝x。当ROC曲线离y＝x越远，表示显著图模型与人工标记越一致。

图4是由Achanta数据库上由FT^[3]、HC^[5]、LC^[11]、WT^[12]、SDCT^[13]和本发明算法所绘制的ROC曲线。当T_f取值最小值时，图像中所有的像素点都被认为是显著性目标，此时召回率为1，正确率均为0.2。说明在该数据库中，显著性目标的大小平均占整幅图像面积的20％。另一方面，当T_f取最大值时，本发明算法的召回率高于其它几种算法，说明显著性最大的像素点中包含了更多的显著性目标。图4的结果说明相比较于文献报道中的算法，本发明算法和人类视觉系统的注意力选择机制具有更好的一致性。

参考文献

[1]Itti L,Koch C,Niebur E.A model of saliency-based visual attentionfor rapid scene analysis[J].IEEE Transactions on pattern analysis and machineintelligence,1998,20(11):1254-1259.

[2]Ma Q,Zhang L.Saliency-based image quality assessment criterion[C]//

International Conference on Intelligent Computing.Springer BerlinHeidelberg,2008:1124-1133.

[3]Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient regiondetection[C]//Computer vision and pattern recognition,2009.cvpr 2009.ieeeconference on.IEEE,2009:1597-1604.

[4]Luo Y,Yuan J,Xue P,et al.Saliency density maximization forefficient visual objects discovery[J].IEEE Transactions on Circuits andSystems for Video Technology,2011,21(12):1822-1834.

[5]Cheng M M,Mitra N J,Huang X,et al.Global contrast based salientregion detection[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2015,37(3):569-582.

[6]Borji A,Cheng M M,Jiang H,et al.Salient object detection:Abenchmark[J].IEEE Transactions on Image Processing,2015,24(12):5706-5722.

[7]Hunter R S.Photoelectric color difference meter[J].Josa,1958,48(12):985-995.

[8]Hunter R S.Accuracy,precision,and stability of new photoelectriccolor-difference meter[C]//Journal of the Optical Society ofAmerica.CIRCULATION FULFILLMENT DIV,500SUNNYSIDE BLVD,WOODBURY,NY 11797-2999:AMER INST PHYSICS,1948,38(12):1094-1094.

[9]Liu T,Yuan Z,Sun J,et al.Learning to detect a salient object[J].IEEE Transactions on Pattern analysis and machine intelligence,2011,33(2):353-367.

[10]Zhou R,Hansen E A.Breadth-first heuristic search[J].ArtificialIntelligence,2006,170(4):385-408.

[11]Zhai Y,Shah M.Visual attention detection in video sequences usingspatiotemporal cues[C]//Proceedings of the 14th ACM international conferenceon Multimedia.ACM,2006:815-824.

[12]Imamoglu N,Lin W,Fang Y.A saliency detection model using low-level features based on wavelet transform[J].IEEE transactions on multimedia,2013,15(1):96-105.

[13]Bai P,Cui Z,Gan Z,et al.A novel saliency detection model based oncurvelet transform[C]//Wireless Communications&Signal Processing(WCSP),20168th International Conference on.IEEE,2016:1-5.

[14]黄虹,张建秋.彩色自然场景统计显著图模型[J].复旦学报:自然科学版,2014(1):51-58.。

Claims (3)

1.全局颜色对比度检测和分割显著图的方法，其特征在于，分为两部分：显著性检测和显著图分割；其中：

(一)显著性检测采用全局颜色对比度方法，具体步骤为：

(1)全局颜色对比度分析

在彩色图像中，一个彩色像素点由RGB三个通道联合表示；将彩色图像从RGB空间转换到L*a*b空间，其中的L分量描述像素点的亮度，a和b分量则描述像素点的色度；定义像素点I_i的颜色为c_i，那么c_i在L*a*b空间就表示为c_i＝(L_i,a_i,b_i)，于是像素点I_i和I_j的颜色对比度定义为c_i和c_j的欧式几何距离，即：

D(I_i,I_j)＝D(c_i,c_j)＝[(L_i-L_j)²+(a_i-a_j)²+(b_i-b_j)²]^1/2 (1)

在复杂场景中，对任一幅彩色图像I，定义某一像素点I_i的显著性S(I_i)，是该像素点与其它所有像素点之间的颜色对比度之和：

S(I_i)＝D(I_i,I₁)+D(I_i,I₂)+...+D(I_i,I_N) (2)

其中，N代表图像I的总像素点，D(I_i,I_j)(j＝1，2，...，N)是像素点I_i和I_j之间的颜色对比度；

由于定义的显著性S(I_i)只与像素点I_i的颜色c_i相关，对于图像I中任意两个相同颜色的像素点I_j和I_k，有D(I_i,I_j)＝D(I_i,I_k)，因此，将式(2)右边相同颜色的像素点整合在一起得到：

其中，n代表图像I的总颜色个数；f(c_j)是颜色c_j在图像I中出现的频次；

(2)颜色的聚类与量化

采用K-means算法对在L*a*b空间的像素点进行聚类，其中心个数设置为M，像素点I_i聚类后的颜色为r_i，那么式(3)就简化为：

(3)颜色的离散度与边缘加权

定义某个颜色在空间上的分布离散度，是该颜色像素点在空间位置上的方差，数学式为：

其中，(x₀,y₀)为聚类后颜色为r_i的像素区域中心，(x_i,y_i)是该区域内像素点的坐标，K则是该区域像素点个数，并归一化它们的坐标到[0,1]区间；

用颜色离散度来增强显著性式(4)的结果就为：

其中，σ²是颜色离散度的加权权重；

另外，将将图像I视为无向图G，I中的像素点是G中的顶点，相邻顶点之间存在一条边e，采用图的广度搜索算法，将与图像边缘重合区域的显著性进行降低：

S(I_i)＝S(I_i)'*β (7)

其中，I_i∈Θ，区域Θ内的像素点满足：存在一条从图像边缘某一点I_mar到I_i的路径，且该路径上各像素点经过聚类后的颜色相等；其中，S(I_i)'是原始显著性，S(I_i)是加权后的显著性，β是权值，β越接近0表示边缘部分的显著性权值越低，β取值区间为[0.1,0.8]；

(二)显著图分割采用动态阈值方法

首先根据显著图初始化前景目标和背景区域，并设其它区域为待定区域，再根据前景和背景的统计信息对待定区域中的像素点做进一步划分，经过多次迭代，使待定区域面积为0，以达到分割出显著性目标的目的，具体步骤如下：

(1)初始化：设输入归一化后的显著图为S，首先采用固定阈值初步分割出前景和背景区域；

(2)迭代：

(2.1)统计信息：统计计算出前景区域的均值mean_t和最小值min_t，以及背景区域的均值mean_b和最大值max_b，据下式更新前景阈值hi和背景阈值lo：

其中，μ为前景阈值的迭代步长，(1-mean_t+min_t)为步长加权值，取值范围为[0,1]；ν为背景阈值迭代步长，(1-mean_b+max_b)为步长加权值，取值范围为[0,1]；

(2.2)更新前景与背景区域：对待定区域中的像素点，据式(8)更新前景阈值hi和背景阈值lo；当显著值式(7)同时落入前景和背景区域时，该像素点将归入区域均值离它显著值最近的区域；

(2.3)更新迭代步长：此时，如果前景区域已经更新，则保持迭代步长μ不变；否则，说明没有新的像素点归入前景区域，此时迭代步长μ增大；对背景区域的迭代步长更新方法同同前景区域的迭代步长更新方法；

(2.4)如果待定区域面积为0，则跳出循环，否则重复步骤2；

(3)输出：输出前景区域，即得到包含显著性目标的二值图像。

2.根据权利要求1所述的全局颜色对比度检测和分割显著图的方法，其特征在于，式(6)中，σ²的取值区间为[0.1,0.3]。

3.根据权利要求1所述的全局颜色对比度检测和分割显著图的方法，其特征在于，步骤(2.1)中取迭代步长μ和ν初始值均为0.05，步骤(2.3)中μ和μ的增量均为0.05。

Images