CN102005057B - 一种检测彩色图像的感兴趣区域的方法 - Google Patents

Abstract

本发明提供一种检测彩色图像的感兴趣区域的方法，该方法用于检测彩色图像得到一个矩形的感兴趣区域，具体包括以下步骤：1)对图像采用基于区域的模糊方法去除多余的细节部分同时保留前景和背景区域的边界，其中模糊过程中采用HSV颜色模型；2)对模糊处理之后的图像，采用HSV颜色模型和CIELUV颜色模型选取6个不同的颜色通道，分别根据其相位谱得到6个特征图；3)对于每个特征图分别检测对应的候选感兴趣区域，从而在6个特征图上得到6个候选的矩形感兴趣区域；4)基于步骤3)中的6个候选矩形感兴趣区域，建立原始图像的显著图，并在显著图上检测最终得到一个矩形感兴趣区域；本发明对感兴趣区域检测的准确性和鲁棒性都很高，有很好的应用价值。

Description

一种检测彩色图像的感兴趣区域的方法

技术领域

本发明涉及一种彩色图像中感兴趣区域的自动检测方法，该方法针对彩色的图像自动检测出人们在第一眼看到图像所注意的那部分区域，具体涉及一种检测彩色图像的感兴趣区域的方法。

背景技术

近年来，随着第三代移动通信技术和多媒体处理技术的迅速发展，便携式移动多媒体终端也越来越流行。但由于携带的便利性、费用原因，便携式多媒体终端的屏幕一般都不大。这样，便需要对所要显示的图像、视频等内容进行自适应的处理，以适应尺寸不大的各种显示屏幕的要求。其中一个重要的课题便是找到所要显示内容的最关键区域，这个最关键的区域便要求是图像或视频最具有代表性的部分，同时也应该是用户最关注最感兴趣的区域。视频也可以看成是一帧帧图像的组合，所以我们把自动检测图像的感兴趣区域作为本发明所针对的课题。

图像的感兴趣区域的检测从理论上讲便是找到图像所突出的部分，从实际操作上来说也便是找到图像的前景部分。理论研究中，把吸引用户注意的图像区域称为视觉注意力部分VA(Visual Attention)，一般通过对仿生学生物神经系统、计算机视觉和模式识别等方面的研究来确定VA。

如上所述，VA是一幅图像上人在第一眼会自动注意到的部分，这一部分的图像在某些特性上(颜色，形状，纹理或者其他)与周围不同而显得突出，是图像的前景部分。传统的检测VA的方法是自底向上的，在“Itti，L.，C.Koch，in IEEE Tran.Pattern Analysis and Machine Intelligence，vol.20，no.11，pp.1254-1259，Aug.1998，A model of saliency-based visual attention for rapid scene analysis.”中Itti根据Treisman的特征整合理论FIT(Feature Integration Theory)提出了一种详尽的基于显著图SM(Saliency Map)的检测VA的理论。在文中，Itti利用高斯金字塔和Gabor滤波来获得图像上每个位置的某种特征与周围区域的差异，把图像所有像素点上的差异进行归一化便可以得到这个图像在此特征下的特征图FM(Feature Map)。Itti选取了2个颜色特征，1个亮度特征和4个方向特征，再把这些特征图进行有侧重的加权相加，最后得到显著图，在此显著图上检测VA。在这个检测VA的经典理论的基础上，专家们又提出了各种具体实现的方法，但基本都是自底向上的、基于中心环境差异的。这类经典方法的运算量很大，还有一个不足之处在于这个检测的结果对各种参数的设定很敏感。

近来，Hou在“X.Hou，L.Zhang，Proc.of CVPR，vol.1-8，pp.2280-2287.June，2007，Saliency detection：A spectral residual approach”中提出了一种新的检测VA的方法，这种方法认为一般的图像都会有某种共性，每幅图像都是在这个共性上加入一定的特性，而这个特性便是人视觉所特别关注的部分。在实现上，这个SR(Spectral Residual)方法用目标图像的幅度谱的对数减去自然图像共有属性的幅度谱的对数，得到的残余幅度谱结合目标图像的相位谱，从而得到图像时域的特征图，这个特征图能突出图像的VA部分。而这个方法认为，自然图像共有属性的幅度谱能用对目标图像幅度谱平滑滤波的方法近似得到。之后，Guo在“C.Guo，Q.Ma and L.Zhang，Proc.CVPR2008，vol.pp.1-8，June 2008，Spatio-temporal Saliency detection using phase spectrum ofquaternion Fourier transform”中认为，上述方法中VA能在特征图上显现出来的关键因素并不是残余幅度谱，而是相位谱，只利用相位谱便能到检测到图像的VA。后来，又有专家指出，这种利用图像频域信息的方法只能检测出简单图像的前景(VA)和背景部分，如图(1-a)所示，是适用于当图像前景部分比较复杂而背景比较简单的情况。经过一个简单的反转也能检测出前景简单背景复杂的情况，如图(1-b)中所示。而对于较复杂的图像，如图(1-c)和图(1-d)这种方法的准确率就不高了。

发明内容

本发明的目的在于，为克服现有的图像频域信息的检测方法受限于彩色图像种类的缺陷即现有的频域信息检测方法只能比较准确的检测出背景简单前景复杂或背景复杂背景简单这两种类型的彩色图像中感兴趣的部分，从而提供一种检测彩色图像的感兴趣区域的方法。

本发明提供的一种检测彩色图像的感兴趣区域的方法，该检测方法能够很好的检测出各种图像(图1-c和图1-d))的感兴趣区域，也具有很好的稳定性，从而可以应用在小尺寸屏幕图片的自适应浏览等方面。

为了实现上述目的，本检测方法首先对图像进行模糊处理来减少图像上多余的细节部分，然后利用图像的频谱得到图像在不同的颜色通道上的特征图，之后再在各个特征图上检测图像的候选VA区域，综合这些区域信息得到图像最终的显著图，最后在这个显著图上确定最终的感兴趣区域。

本发明的一种检测彩色图像的感兴趣区域的方法，该方法用于检测彩色图像得到一个矩形的感兴趣区域，具体包括以下步骤：

1)对图像采用基于区域的模糊方法去除多余的细节部分同时保留前景和背景区域的边界，其中模糊过程中采用HSV颜色模型；

2)对模糊处理之后的图像，采用HSV颜色模型和CIELUV颜色模型选取6个不同的颜色通道，分别根据其相位谱得到6个特征图；

3)对于每个特征图分别检测对应的候选感兴趣区域，从而在6个特征图上得到6个候选的矩形感兴趣区域；

4)基于步骤3)中的6个候选矩形感兴趣区域，建立原始图像的显著图，并在显著图上检测最终得到一个矩形感兴趣区域；

其中，对于每个特征图，保留其感兴趣区域内的像素点值，将特征图上感兴趣区域外的像素点值设定为0；更新每个特征图为I′_i(i＝1，2...6)，再加权相加得到最终的显著图；具体公式如下：

$\mathrm{SM}=\underset{i=1}{\overset{6}{\mathrm{\Σ}}}{\mathrm{\δ}}_i{\mathrm{\ω}}_i{I}_i^{\′}$

SM便是最终的显著图；

ω_i是每个特征图对应的权值；

上述技术方案所述的检测彩色图像的感兴趣区域的方法，其特征在于，所述的参数ω_i为对应特征图上感兴趣区域面积的倒数。所述的感兴趣区域面积过大或者过小时，设定δ_i＝0，否则δ_i＝1。

上述技术方案所述的得到矩形感兴趣区域的方法具体包含如下子步骤：

首先，对于特征图或显著图，进行直方图均衡；

然后，计算特征图的空间累计图；

最后，在每个特征图或显著图的空间累计图上，找到一个矩形区域作为此特征图的感兴趣区域。

作为本发明的一个改进，所述的空间累计图的重心为矩形感兴趣区域的中心，将这个矩形区域不断向四周等距离扩张，每次扩张只向一个方向，且每次都等距，直到这个区域上所有像素点值的和达到空间累计图上所有像素点和值的95％，找到最终的感兴趣区域。

本发明的自动检测彩色图像的感兴趣区域的方法先对图像进行模糊处理，去除多余的细节部分的同时也保留了前景和背景区域的边界，然后选用HSV颜色模型和CIELUV颜色模型共6个颜色通道，对每个通道利用其幅度谱得到其特征图，再在每个特征图上检测对应的候选感兴趣区域，将这6个候选感兴趣区域进行加权相加得到图像的显著图，在这个显著图上检测最终的感兴趣区域。

本发明的检测方法有点在于，综合了各个颜色通道的信息从而使检测具有稳健性；而预先进行的图像模糊处理去除了多余细节对检测的干扰，保证了检测的准确性；最终得到的矩形感兴趣区域有利于在各种矩形的小屏幕上进行浏览，符合实用性的要求；本发明提供的方法具有较大的应用价值。

附图说明

图1-a是复杂前景简单背景的彩色图像的原始图像；

图1-a′是复杂前景简单背景的彩色图像的基于传统的频谱监测方法得到的感兴趣区域的图像；

图1-b是复杂背景简单前景的彩色图像的原始图像；

图1-b′是复杂背景简单前景的彩色图像的基于传统的频谱监测方法得到的感兴趣区域的图像；

图1-c是简单前景简单背景的彩色图像的原始图像；

图1-c′是简单前景简单背景的彩色图像的基于传统的频谱监测方法得到的感兴趣区域的图像；

图1-d是复杂前景复杂背景的彩色图像的原始图像；

图1-d′是复杂前景复杂背景的彩色图像的基于传统的频谱监测方法得到的感兴趣区域的图像；

图2是本发明中对每个颜色通道由相位谱直接得到的显著图进行直方图均衡的示意图；

图3-a是复杂前景复杂背景的原始的彩色图像；

图3-b是基于HSV颜色模型的H通道的特征图得到的矩形候选感兴趣区域结果示意图；

图3-c是基于HSV颜色模型的S通道的特征图得到的矩形候选感兴趣区域结果示意图；

图3-d是基于HSV颜色模型的V通道的特征图得到的矩形候选感兴趣区域结果示意图；

图3-e是基于LUV颜色模型的L通道的特征图得到的矩形候选感兴趣区域结果示意图；

图3-f是基于LUV颜色模型的U通道的特征图得到的矩形候选感兴趣区域结果示意图；

图3-g是基于LUV颜色模型的V通道的特征图得到的矩形候选感兴趣区域结果示意图；

图3-h是基于6个候选区域图得到的显著图的示意图；

图3-i是从显著图检测得到的最终的矩形感兴趣区域结果示意图；

图4是本发明的检测流程示意图。

具体实施方式

下面结合附图和具体的实施方式对本发明的对彩色图像上感兴趣区域的检测方法作进一步详细描述。

图1-a，图1-a′，图1-b，图1-b′，图1-c，图1-c′和图1-d，图1-d′是本发明中所列举的四组不同的彩色图像的样式，传统的各种基于频谱的检测彩色图像感兴趣区域的方法只能检测到比较简单的图像，如(1-a)和(1-a′)中所示的复杂前景简单背景的情况，或者(1-b)和(1-b′)中所示的前景简单背景复杂的情况。但如果前景和背景部分都比较简单或者都比较复杂的情况，如(1-c)(1-d)中所示，依靠其特征图是没有办法确定原图的感兴趣区域的，即利用传统方法得到的检测结果如图(1-c′)(1-d′)，这些图并不能比较准确反应彩色图像的感兴趣区域。

图2是本发明中对每个颜色通道由相位谱直接得到的显著图进行直方图均衡的示意图。

图3-a是一幅是复杂前景复杂背景的原始的彩色图像；图3-b，图3-c，图3-d，图3-e，图3-f和图3-g是本发明中各个颜色通道的特征图对候选感兴趣区域(ROI)检测结果示意图；图3-h是基于6个候选区域图得到的显著图的示意图；图3-i从显著图检测得到的最终的矩形感兴趣区域结果示意图，从显著图上我们便可以看出图上哪个部分最突出，而最后的检测结果也说明本发明的检测方法对于复杂前景和复杂背景的彩色图像的感兴趣区域的检测是有效的。

图4是本发明整个检测过程的示意图。首先对图像进行模糊处理来减少图像上多余的细节部分，然后利用图像的频谱得到图像在不同的颜色通道上的特征图，之后再在各个特征图上检测图像的候选VA区域，综合这些区域信息得到图像最终的显著图，最后在这个显著图上确定最终的感兴趣区域。具体包括如下步骤：

1)对图像进行模糊处理：

我们为了去除图像上多余的细节，从而更好的检测图像上的前景部分，我们提出首先对图像进行模糊处理。在这个模糊处理的过程中，多余的细节被除去，同时前景和背景的边界部分还保留着，因此本发明采用基于区域的模糊方法Density-basedSpatial Clustering of Applications with Noise(DBSCAN)。为了适应本方面模糊处理的要求，对DBSCAN进行一些改进和限定。

(a)相邻区域的半径应该设定为一个较小的数，本发明中将其设定为1。

另外，邻域的距离用棋盘距离来计算。

(b)在模糊的过程中采用Munsell(HSV)颜色模型。

(c)由于这里进行DBSCAN的目的是对图像进行模糊而不是聚类，在除去图像多余细节的同时不能也消去了图像前景和背景的边界，因此聚合的次数需要预先加以限定。本发明中，基于实验数据，将聚合的次数设定为使聚合之后图像区域的数量为50。这里需要指出的是，模糊所达到的效果和对聚合次数的敏感度并不是很高，比如聚合之后区域的数量设定为40至80，对模糊后检测的效果影响不大。

2)利用图像的频谱得到其几个不同颜色通道的特征图：

选用HSV颜色模型和CIELUV颜色模型共六个颜色通道，对图像每个颜色通道上的分量I(x)，利用其相位谱P(f)，得到对应的特征图S(x)。

I(x)＝g(x)*F^-1[exp(P(f))]²

F和F^-1是傅里叶变换和傅里叶反变换，g(x)是用来模糊的高斯滤波(σ＝8)。

这样便可以得到6个不同颜色通道的特征图。

3)针对每个特征图，找到其感兴趣区域：

首先对于每个特征图，进行直方图均衡，如图2所示。

$I_{\mathrm{adjust}}=\left\{\begin{array}{cc}0& I<\mathrm{Min}\\ T0/T-\mathrm{Min}\&times;(I-\mathrm{Min})& \mathrm{Min}\&le;I<T\\ T1+255-T1/255-T\&times;(I-T)& T\&le;I<255\end{array}\right.$

I_adjust是进行了直方图均衡之后的特征图。在这里，Min设定为40。特征图上每个像素点的值用迭代的方法分成两部分。T0是较小值部分的均值，T1是较大值部分的均值。而T＝(T0+T1)/2，再以T作为两部分的分界点，进行迭代计算。当两次迭代的过程中T保持不变时迭代停止。

然后，计算特征图的空间累计图S(x，y)，

$S(i,j)=\underset{m=1}{\overset{h}{\mathrm{\&Sigma;}}}{I}_{\mathrm{adjust}}(m,j)\&times;\underset{n=1}{\overset{w}{\mathrm{\&Sigma;}}}{I}_{\mathrm{adjust}}(i,n)$

h和w分别是图的高度和宽度。

之后，在每个特征图的空间累计图S上，找到一个矩形区域作为此特征图的感兴趣区域。我们把S的重心作为矩形区域的中心，将这个矩形区域不断向四周扩张，直到这个区域上所有像素点值的和达到S上所有像素点和值的95％。这个区域每次选择一个方向且以等距离扩张，选择的方向要达到使每次所增加的区域内像素点的和值最大。

4)建立显著图，并在显著图上检测到最终的感兴趣区域：

本发明采用了6个颜色通道建立了6个特征图，在每个特征图上找到了一个矩形区域作为候选感兴趣区域。

对于每个特征图，保留其感兴趣区域内的像素点值，将特征图上感兴趣区域外的像素点值设定为0。这样更新每个特征图为I′_i(i＝1，2...6)，再加权相加得到最终的显著图。

$\mathrm{SM}=\underset{i=1}{\overset{6}{\mathrm{\&Sigma;}}}{\mathrm{\&delta;}}_i{\mathrm{\&omega;}}_i{I}_i^{\&prime;}$

SM便是最终的显著图。ω_i是每个特征图对应的权值，其值设定为对应特征图上感兴趣区域面积的倒数。而当这个面积过大或者过小时，便可以认为在这个特征图上图像的前景并不明显，从而候选感兴趣区域的检测不成功。这个特征图应该被丢弃，即设定δ_i＝0，否则δ_i＝1。

在这个显著图SM上，检测最终的感兴趣区域。检测方法和在每个特征图上检测候选感兴趣区域的方法一致，如步骤3)中所述。

本发明的自动检测彩色图像的感兴趣区域的方法的有益效果在于：先对图像进行模糊处理，去除多余的细节部分的同时也保留了前景和背景区域的边界，然后选用HSV颜色模型和CIELUV颜色模型共6个颜色通道，对每个通道利用其幅度谱得到其特征图，再在每个特征图上检测对应的候选感兴趣区域，将这6个候选感兴趣区域进行加权相加得到图像的显著图，在这个显著图上检测最终的感兴趣区域。本发明的检测方法综合了各个颜色通道的信息，从而使检测具有稳健性。而预先进行的图像模糊处理去除了多余细节对检测的干扰，保证了检测的准确性。最终生成了一个矩形的区域，这样就有利于在各种矩形的小屏幕上进行浏览，符合实用性的要求。故而，具有较大的应用价值。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种检测彩色图像的感兴趣区域的方法，该方法用于检测彩色图像得到一个矩形的感兴趣区域，具体包括以下步骤：

1)对图像采用基于区域的模糊方法去除多余的细节部分同时保留前景和背景区域的边界，其中模糊过程中采用HSV颜色模型；

2)对模糊处理之后的图像，采用HSV颜色模型和CIELUV颜色模型选取6个不同的颜色通道，分别根据其相位谱得到6个特征图；

3)对于每个特征图分别检测对应的候选感兴趣区域，在6个特征图上分别得到6个候选的矩形感兴趣区域；

4)基于步骤3)中的6个候选矩形感兴趣区域，建立原始图像的显著图，并在显著图上检测最终得到一个矩形感兴趣区域；

其中，对于每个特征图，保留其感兴趣区域内的像素点值，将特征图上感兴趣区域外的像素点值设定为0；更新每个特征图为I′_i(i＝1，2...6)，再加权相加得到最终的显著图；具体公式如下：

$\mathrm{SM}=\underset{i=1}{\overset{6}{\mathrm{\&Sigma;}}}{\mathrm{\&delta;}}_i{\mathrm{\&omega;}}_i{I}_i^{\&prime;}$

其中，SM是最终的显著图；ω_i是每个特征图对应的权值；所述的感兴趣区域面积大于整个画面面积的85％或小于画面面积的10％时，设定δ_i＝0，否则δ_i＝1。

2.根据权利要求1所述的检测彩色图像的感兴趣区域的方法，其特征在于，所述的参数ω_i为对应特征图上感兴趣区域面积的倒数。

3.根据权利要求1中所述的检测彩色图像感兴趣区域的检测方法，其特征在于，所述的得到矩形感兴趣区域的方法具体包含如下子步骤：

首先，对于特征图或显著图，进行直方图均衡；

然后，计算特征图或显著图的空间累计图；

最后，在每个特征图或显著图的空间累计图上，找到一个矩形区域作为此特征图的感兴趣区域。

4.根据权利要求3中所述的检测彩色图像感兴趣区域的检测方法，其特征在于，所述的找矩形感兴趣区域的步骤为，选空间累计图的重心为矩形感兴趣区域的中心，

将这个矩形区域不断向四周扩张，直到这个区域上所有像素点值的和达到空间累计图上所有像素点和值的95％。

Images