CN102509299B - 基于视觉注意机制的图像显著区域检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉注意机制的图像显著区域检测方法，主要解决现有技术检测出的显著区域与目标区域常存在偏差，精确度不高的问题。其实现过程是：首先，对一幅原始图像进行强度特征和颜色特征提取，其中颜色特征包括RG颜色分量和BY颜色分量，得到三幅特征图；其次，对三幅特征图进行视差计算，得到三幅相应的视差图；再次，根据三幅视差图计算出三个相应的权值系数；最后，根据三个权值系数，对三个视差图进行线性整合，得到最终的视觉显著图。本发明有效提高图像中显著目标区域检测的精度，并具有较好的抗干扰能力，可用于目标检测、目标识别、图像检索以及自然图像压缩等领域。

Description

基于视觉注意机制的图像显著区域检测方法

技术领域

本发明属于图像处理技术领域，具体来说是一种基于人眼视觉注意机制的图像显著区域检测方法，可用于目标检测、图像压缩、图像检索等。

背景技术

随着信息技术的发展，迅速膨胀的数据和日益增长的需求对计算机信息处理效率提出了越来越高的要求。在计算机图像信息处理中，任务所关心的内容通常仅是整幅图像中很小的一部分。一视同仁地处理所有的数据是不现实的，也是不必要的。如何快速找到并提取与任务相关的那部分信息，是计算机图像信息处理领域的一个热点。

我们知道，人类具有异常突出的数据筛选能力。在人类视觉信息处理中，总是迅速选择少数几个显著区域进行优先处理，而忽略或舍弃其它非显著区域，这使我们能够有选择地分配计算资源，从而极大地提高了视觉信息处理的工作效率。如何在计算机图像信息处理中模拟和实现人类的选择性注意机制，快速找到那些容易引起观察者注意的图像区域，形成一个合理的计算资源分配方案，引导整个图像信息处理过程，使计算机具有类似人类的选择性和主动性的图像信息处理能力，对提高计算机图像信息处理效率将具有重大意义。

目前，基于视觉注意机制的显著区域检测引起了越来越多的图像信息处理领域研究者的关注。其中一些典型的算法有：

1)Itti模型：其主要过程是从输入图像中提取多方面的特征，如颜色、方向、亮度等，通过高期金字塔和中央周边操作算子形成各个特征的关注图，然后归一化组合得到显著图。在此基础上，通过胜者全取神经网络相互竞争，使得显著区胜出。该方法对局部显著性进行了较好的度量。但没有充分考虑图像的全局信息；显著区的大小和目标的大小也有较大的偏差。

2)Stentiford模型：该方法将图像的显著性用视觉注意图表示，其基本思想是当图像某区域特征在图像其他区域中出现频率越少，其区域显著性就越高；通过抑制图像中具有相同模式的区域得到视觉注意图，用于表示显著性。该方法考虑了目标整体性，对图像进行了全局显著性度量，但没有提取目标的区域，也没有对目标的重要程度进行判断。

3)HOAM模型：该模型是以强度和方向图作为引导视觉注意的早期特征。被注意的单元不是空间的某个点或某个区域，而是具有确定物理意义的完整目标。该方法首先需要假设图像已经分成了若干具有物理意义的目标或目标组合，这是需要人工干预的。

发明内容

本发明的目的在于克服上述已有的显著区域检测技术的不足，提出了一种新的基于视觉注意机制的图像显著区域检测方法，以降低检测的复杂度，提高图像中显著区域的检测精度。

为实现上述目的，本发明的检测方法包括如下步骤：

(1)对一幅原始的自然图像，提取强度特征和两个颜色特征，即红绿颜色RG分量和蓝黄颜色BY分量，得到三幅特征图；

(2)对上述的三幅特征图进行视差计算，得到三幅相应的视差图，即强度视差图、RG视差图和BY视差图；

(3)根据步骤(2)得到的三幅视差图，计算三个权值系数；

3a)分别计算步骤(2)得到的三幅视差图的平均值和标准差：

${\mathrm{Average}}_n=\frac{1}{H\×W}\underset{i=0}{\overset{H-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{W-1}{\mathrm{\Σ}}}{D}_n(i,j)$

${\mathrm{Deviate}}_n=\frac{1}{H\×W}\sqrt{\underset{i=0}{\overset{H-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{W-1}{\mathrm{\Σ}}}{(D_n(i,j)-{\mathrm{Average}}_n)}^2}$

式中，H和W分别代表视差图的长和宽，D_n(i，j)为第n幅视差图上任意一个像素(i，j)的灰度值，Average_n和Deviate_n分别为第n幅视差图的平均值和标准差n＝1，2，3；

3b)根据每一幅视差图的标准差与平均值，得到三个相应的权值，计算公式如下：

式中，k_n′为第n幅视差图对应的权值，Average_n和Deviate_n分别为第n幅视差图的平均值和标准差，n＝1，2，3；

3c)对上述三个权值归一化，得到三个相应的权值系数，其计算公式如下：

$K_n=\frac{k_n^{\′}}{k_1^{\′}+k_2^{\′}+k_3^{\′}}$

式中，K_n为第n个权值对应的权值系数，k_n′为第n幅视差图对应的权值，k′₁、k′₂、k′₃分别为强度视差图的权值、RG视差图的权值和BY视差图的权值，n＝1，2，3；

(4)对步骤(2)中的三幅视差图进行归一化处理，使三幅视差图的灰度值的范围均为0～255，得到三个相应的特征显著图；

(5)对三幅特征显著图进行线性整合，即将三幅特征显著图乘以其相应的权值系数，并进行线性相加，得到最终的视觉显著图。

本发明与现有的技术相比具有以下优点：

(1)本发明由于对原始图像的各个特征图进行了视差计算，因而在对图像进行局部显著性度量的同时，兼顾到了图像中各个区域的全局显著性，而且能检测出图像的显著区域，反映出不同显著区域之间的显著性差异。

(2)本发明由于在对各个视差图进行线性整合前，分别将各个视差图的灰度值范围归一化为0～255，符合人眼视感觉处理过程中早期视觉信息的并行处理的过程。

(3)本发明由于在对各个视差图进行线性整合时，根据各个视差图的权值系数来设定各个视差图在线性整合中的比重，不仅符合人眼视知觉信息的串行处理过程，而且能更精确的检测出图像中的显著区域。

附图说明

图1是本发明的实现流程图；

图2是在背景单一的自然图像中用本发明与现有Itti方法的检测结果对比图；

图3是在背景复杂的自然图像中用本发明与现有Itti方法的检测结果对比图。

具体实施方式

参照图1，本发明的实施如下：

步骤1，对输入图像I，提取强度特征和两个颜色特征，即红绿颜色RG特征和蓝黄颜色BY特征，得到三幅特征图。

(1a)将输入的自然图像I转换成灰度图像G：

G＝0.299r+0.587g+0.114b

其中，r，g，b分别为输入图像I的红、绿、蓝三颜色分量；

(1b)根据灰度图像G计算强度特征图F₁，计算公式如下：

F₁＝|G-C|

$C=\frac{1}{25}\underset{m=-2}{\overset{2}{\mathrm{\Σ}}}\underset{n=-2}{\overset{2}{\mathrm{\Σ}}}G(i+m,j+n)$

式中C为灰度图像G中任意一个像素(i，j)的5×5邻域的灰度平均值，G(i+m，j+n)为灰度图像G中像素(i+m，j+n)是灰度值；

(1c)利用如下公式提取输入图像I的两个颜色特征图，即RG特征图和BY特征图：

$F_2=\frac{3}{2}r-\frac{3}{2}g$

$F_3=\left\{\begin{array}{cc}2b-\frac{1}{2}r-\frac{3}{2}g& r\&GreaterEqual;g\\ 2b-\frac{3}{2}r-\frac{1}{2}g& r<g\end{array}\right.$

式中，r，g，b分别为输入图像I的红、绿、蓝三颜色分量，F₂和F₃分别为输入图像I的RG特征图和BY特征图。

步骤2，对步骤1中得到的三幅特征图进行视差计算，得到三幅相应的视差图。

视差计算是用来计算图像中各个视觉对象之间的视觉差异，目前主要有两种视觉计算方法：局部视差计算和全局视差计算。局部视差是将图像对象的周边范围作为背景，计算对象与背景的差异；而全局视差则将整图像作为背景，计算对象与背景的差异。本实例选用的是全局视觉计算方法，其视差计算公式如下：

D_n＝F_n-FMean_n

式中F_n和D_n分别表示第n副特征图和其对应的视差图，FMean_n表示第n副特征图中所有像素的灰度平均值，n＝1，2，3。

步骤3，由步骤2中三幅视差图，得到三个权值系数。

(3a)计算步骤2中每一幅视差图的平均值Average_n和标准差Deviate_n：

${\mathrm{Average}}_n=\frac{1}{H\&times;W}\underset{i=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{W-1}{\mathrm{\&Sigma;}}}{D}_n(i,j)$

${\mathrm{Deviate}}_n=\frac{1}{H\&times;W}\sqrt{\underset{i=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{W-1}{\mathrm{\&Sigma;}}}{(D(i,j)-{\mathrm{Average}}_n)}^2}$

式中，H和W分别代表视差图的长和宽，D_n(i，j)为第n幅视差图上任意一个像素(i，j)的灰度值，n＝1，2，3；

(3b)根据每一幅视差图的标准差与平均值，得到三个相应的权值，计算公式如下：

式中，k_n′为第n幅视差图对应的权值，n＝1，2，3；

(3c)对上述三个权值归一化，得到三个相应的权值系数，其计算公式如下：

$K_n=\frac{k_n^{\&prime;}}{k_1^{\&prime;}+k_2^{\&prime;}+k_3^{\&prime;}}$

式中，K_n为第n个权值对应的权值系数，k_n′为第n幅视差图对应的权值，k′₁分别为强度视差图的权值、k′₂为RG视差图的权值和k′₃为BY视差图的权值，n＝1，2，3；

步骤4，对步骤(2)中的三幅视差图进行归一化处理，使三幅视差图的灰度值的范围均为0～255，得到三幅相应的特征显著图，具体计算过程如下：

$M_n=\frac{D_n-\min }{\max -\min }\&times;255$

式中min和max分别代表第n幅视差图D_n灰度值的最小值和最大值，M_n表示第n幅视差图D_n的特征显著图，n＝1，2，3。

步骤5，将三幅归一化的视差图乘以其相应的权值系数，然后进行线性相加，得到最终的视觉显著图S。

$S=\underset{n=1}{\overset{3}{\mathrm{\&Sigma;}}}{K}_n\&CenterDot;M_n$

式中，K_n为第n幅视差图的权值系数，M_n表示第n幅特征显著图，n＝1，2，3。

本发明的效果可通过以下实验结果与分析进一步说明：

1.实验条件

实验仿真环境为：MATLAB 7.8.0，VC++6.0，Intel(R)Pentium(R)1CPU 2.4GHz，Window XP Professional。

本发明使用大小为384×256的自然图像进行测试实验。这些图像中均含有显著性目标。为说明本发明的有效性，本发明与现有的Itti方法的检测方法进行了对比。我们选取了两类自然图像进行测试实验。一类是背景单一的自然图像，如图2(a)；另一类是背景复杂的自然图像，如图3(a)。

2.实验内容与结果分析

实验1，在图像背景比较单一的情况下，比较现有的Itti方法与本发明方法的检测结果。如图2所示，其中图2(b)为Itti方法的检测结果，图2(c)为本发明的检测结果。从实验结果图中可以看出，Itti方法和本发明方法都能检测出视觉显著区域，但Itti方法检测出的显著区域和实际的显著区域存在一定的偏差，检测出的显著区不能有效代表实际显著区域所在位置。这是由于Itti模型没有充分考虑图像的全局信息，仅对局部显著性进行了度量。而本发明克服了上述方法中缺点，充分考虑了图像的全局信息和局部信息。从图2(c)中还可以看出，本发明方法不仅能够很精确的检测出图像中显著区域，而且还能检测出显著区域内部各部分的显著性。

实验2，在图像背景比较复杂的情况下，比较了Itti模型与本发明方法的检测结果。如图3所示，其中图3(b)为Itti方法的检测结果，图3(c)为本发明的检测结果。从图3(b)中可以看出，在背景复杂的情况时，Itti方法未能有效的检测出图像中的显著区域，并存在明显的误检测。这表明Itti模型对图像显著区域的检测存在一定的局限性。从图3(c)中可以看出，本发明方法在背景较复杂的情况下，仍能精确的检测出图像中的显著区域，从而说明本发明提出的方法具有较好的抗干扰性能。

综上所述，本发明提取的基于视觉注意机制的图像显著区域检测方法结合了图像的局部信息和全局信息相，有效的模拟了人眼视觉的注意过程，与传统方法相比，本发明大大提高了对图像中的显著目标区域检测的精度，并且具有较好的搞干扰性能。

Claims (4)

1.一种基于视觉注意机制的图像显著区域检测方法，包含以下步骤：

(1)对一幅原始的自然图像，提取强度特征和两个颜色特征，即红绿颜色RG分量和蓝黄颜色BY分量，得到三幅特征图；

(2)对上述的三幅特征图进行视差计算，得到三幅相应的视差图，即强度视差图、RG视差图和BY视差图；

(3)根据步骤（2）得到的三幅视差图，计算三个权值系数，包括步骤3a)～3c);

3a)分别计算步骤（2）得到的三幅视差图的平均值和标准差：

${\mathrm{Average}}_n=\frac{1}{H\&times;W}\underset{i=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{W-1}{\mathrm{\&Sigma;}}}{D}_n(i,j)$

${\mathrm{Deviate}}_n=\frac{1}{H\&times;W}\sqrt{\underset{i=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{W-1}{\mathrm{\&Sigma;}}}{(D_n(i,j)-{\mathrm{Average}}_n)}^2}$

式中，H和W分别代表视差图的长和宽，D_n(i,j)为第n幅视差图上任意一个像素(i,j)的灰度值，Average_n和Deviate_n分别为第n幅视差图的平均值和标准差n=1,2,3；

3b)根据每一幅视差图的标准差与平均值，得到三个相应的权值，其计算公式如下：

式中，k_n'为第n幅视差图对应的权值n=1,2,3；

3c)对上述三个权值归一化，得到三个相应的权值系数，其计算公式如下：

$K_n=\frac{k_n^{\&prime;}}{k_1^{\&prime;}+k_2^{\&prime;}+k_3^{\&prime;}}$

式中，K_n为第n个权值对应的权值系数，k_n'为第n幅视差图对应的权值，k₁'、k₂'、k₃'分别为强度视差图的权值、RG视差图的权值和BY视差图的权值，n=1,2,3；

(4)对步骤（2）中的三幅视差图进行归一化处理，使三幅视差图的灰度值的范围均为0～255，得到三个相应的特征显著图；

(5)对三幅特征显著图进行线性整合，即将三幅特征显著图乘以其相应的权值系数，并进行线性相加，得到最终的视觉显著图。

2.根据权利要求1所述的方法，其中步骤(1)所述的提取强度特征，按如下步骤进行：

1a)将输入的自然图像I转换成灰度图像G：

G＝0.299r+0.587g+0.114b

其中，r,g,b分别为输入图像I的红、绿、蓝三颜色分量；

1b)根据灰度图像G计算强度特征图F₁，计算公式如下：

F₁＝|G-C|

式中C为灰度图像G中任意一个像素(i,j)的5×5邻域的灰度平均值，G(i+m,j+n)为灰度图像G中像素(i+m,j+n)的灰度值。

3.根据权利要求1所述的方法，其中步骤(1)所提取的两个颜色特征为RG特征图和BY特征图，其按如下公式计算：

$F_2=\frac{3}{2}r-\frac{3}{2}g$

$F_3=\left\{\begin{array}{cc}2b-\frac{1}{2}r-\frac{3}{2}g& r\&GreaterEqual;g\\ 2b-\frac{3}{2}r-\frac{1}{2}g& r<g\end{array}\right.$

式中，r,g,b分别为输入图像I的红、绿、蓝三颜色分量，F₂和F₃分别为输入图像I的RG特征图和BY特征图。

4.根据权利要求1所述的方法，其中步骤（2）所述对三幅特征图进行视差计算，是按如下公式计算：

D_n＝F_n-FMean_n

式中F_n和D_n分别表示第n副特征图和其对应的视差图，FMean_n表示第n副特征图中所有像素的灰度平均值，n=1,2,3。