CN101894371A - 一种生物激励的自顶向下的视觉注意方法 - Google Patents

Abstract

本发明公开了一种生物激励的自顶向下的视觉注意方法，步骤为：①提取所有的学习图的特征；②将同类型所有的学习图表示成均值向量和标准差向量；③获取待注意图的自顶向下的显著性图和自底向上的显著性图；④获取最终显著性图；⑤胜者全赢；⑥返回抑制，将最终显著性图中最显著性点所在区域的像素值都置为零，得到了一个新的最终显著性图；⑦注意选择。本发明在学习目标的表示时，仅仅利用了学习目标本身的特性，而没有考虑其所在的背景，这样的目标表示具有更强的鲁棒性，获得较好的视觉效果。

Description

一种生物激励的自顶向下的视觉注意方法

技术领域

本发明属于计算机视觉领域，具体涉及一种生物激励的自顶向下的视觉注意方法。

背景技术

视觉注意方法主要是解决图像中的数据筛选问题。在计算机图像中，任务所关心的内容通常仅仅是图像中很小的一部分，所以，有必要将不同的处理优先级赋予不同的图像区域，这样可以降低处理过程的复杂度，还能够减少不必要的计算浪费。在人类视觉信息处理中，总是迅速选择少数几个显著的对象进行优先处理，而忽略或舍弃其他的非显著的对象，这样使本发明能够有选择地分配计算资源，从而极大地提高视觉信息处理的效率，该过程被称为视觉注意。

心理学研究发现，不但那些能够产生新异的刺激、较强的刺激的图像区域容易引起观察者的注意，而且那些能够产生与观察者所期待的刺激的图像区域也容易引起观察者的注意。据此，可以将视觉注意分为两种类型：一种是基于初级视觉，由数据驱动的自底向上的注意；另一种是基于高层视觉，与任务、知识等相关的自顶向下的注意。

常用的自底向上视觉注意方法是Itti等(L.Itti，C.Koch and E.Niebur，“A model of saliency-based visual attention for rapid scene analysis，”IEEETransactions on Pattern Analysis and Machine Intelligence，20(11)，pp.1254-1259，1998.)提出的，该方法独立使用了初级视觉特征如亮度，方位和颜色。Itti等(L.Itti and C.Koch，“Feature combination strategies forsaliency-based visual attention systems，”Journal of Electronic Imaging，10(1)，pp.161-169，2001.)还提出了空间竞争函数来融合不同的初级视觉特征。在自顶向下的视觉注意方法中，现有的具有代表性的是VOCUS自顶向下的模型(S.Frintrop，VOCUS：A Visual Attention System for Object Detection andGoal-directed Search，Lecture Notes in Artificial Intelligence(LNAI)，Springer，Berlin/Heidelberg，2006.)和Navalpakkam的模型(V.Navalpakkam and L.ltti，“An integrated model of top-down and bottom-up attention for optimal objeetdeteetion speed，”IEEE Computer Society Conference on Computer Vision andPattern Recognition，pp.2049-2056，2006.)。VOCUS自顶向下的模型描述如下，先将学习图像和待注意的图像都分解成一些低水平的视觉特征图，再对学习图像中的每个特征图，计算目标与背景的比值作为该特征的权重，然后在待注意图中将每一个特征图乘以从学习图像中获得的相应权重得到了自顶向下的显著性图。Navalpakkam模型是根据下述的方法得到的，先将学习图像和待注意的图像都分解成一些低水平的视觉特征图，再对学习图像中的每一个特征图，利用统计知识通过最大化目标和背景的信噪比得到该特征的最优权重，最后在待注意图中将每一特征图乘以相应的最优权重得到自顶向下的显著性图。

这两种现有的自顶向下的视觉注意方法都与目标所在的背景有关，因而当目标所在的背景改变时，即当待注意图中的目标不总是出现在训练图的背景中，或者待注意图中的目标和其背景的组合与训练图中的目标和其背景的组合相差很大时，现有方法的视觉注意效果将变得很差。

发明内容

本发明的目的在于提出一种生物激励的自顶向下的视觉注意方法，该方法仅利用了目标自身的属性，能获得较好的视觉效果。

本发明提供的一种生物激励的自顶向下的视觉注意方法，其步骤为：

第1步 对于一个给定的待注意图，先提取颜色，亮度，方位和纹理初级视觉特征；将颜色特征分解成红、绿、蓝3种类型，将亮度特征分解成亮度开启和亮度闭合2种类型；用4个方位的滤波器分别对待注意图进行滤波，得到4种方位特征类型；分别用原始的LBP算子和环半径延伸的LBP算子计算得到的2种纹理特征类型，一共得到待注意图的11种特征类型；

第2步  根据待注意图的11种特征类型和长期记忆库中存储学习目标类得到自顶向下的显著性图；根据待注意图的11种特征类型本身的对比度得到一个自底向上的显著性图；

第3步  将自顶向下显著性图中的每一点的像素值除以自顶向下显著性图中的最大像素值，将自底向上显著性图中的每一点的像素值除以自底向上显著性图中的最大像素值，最后将这两个标准化后的图的乘积作为最终显著性图；

第4步  利用胜者全赢的方法，得到最终显著性图中的最显著的点和该点对应的最优尺寸构成了最显著区域；

第5步  将最终显著性图中最显著区域的像素值都置为零，得到一个新的最终显著性图；

第6步  重复第4步至第5步，直至预先设定的次数，完成后得到的最显著性的点和该点所在区域的尺寸，作为注意焦点。

本发明提出一种生物激励的自顶向下的视觉注意方法，包括学习目标的表示，自顶向下显著性图和自底向上显著性图。在学习目标的表示时，现有的方法都是利用了学习目标的特性和学习目标所在背景的特性，再将每一个特征图中的目标与背景的比值作为该特征的权重，然后根据这些权重联合待注意图中的不同的特征图得到自顶向下的显著性图。这些方法存在的缺点是当目标所在的背景改变时，即当待注意图中的目标不总是出现在训练图的背景中，或者待注意图中的目标和其背景的组合与学习图中的目标和其背景的组合相差很大时，在待注意图中很难检测到学习的目标。为了解决以上的问题，本发明在学习目标的表示时，仅仅利用了学习目标本身的特性，而没有考虑其所在的背景，这样的目标表示具有更强的鲁棒性。在实验结果中，分别与Itti等的方法，VOCUS自顶向下的方法，Navalpakkam的方法相比，本发明在待注意图中能够更好地检测学习的目标图像，获得较好的视觉效果。

附图说明

图1是本发明流程图；

图2是LBP算子；

图3(a)是原始的LBP算子；(b)是延伸的LBP算子；

图4是合成图的实验结果；

图4a是Itti模型：第12次找到目标；

图4b是VOCUS自顶向下模型：第4次找到目标；

图4c是Navalpakkam模型：第7次找到目标；

图4d是本发明的模型：第1次找到目标；

图5是训练图；

图6是测试图；

图6a是Itti模型：第10次找到目标；

图6b是VOCUS自顶向下模型：第8次找到目标；

图6c是Navalpakkam模型：第6次找到目标；

图6d是本发明的模型：第3次找到目标；

图7是四种方法的所有目标的实验结果的直方图(X轴表示找到目标的次数，Y轴表示该次出现的总数)；

图7a是Itti的自底向上的方法；

图7b是VOCUS自顶向下方法；

图7c是Navalpakkam的方法；

图7d是本发明的方法。

具体实施方式

下面结合附图和实例对本发明作进一步详细的说明。

在实施本发明之前，需要先建立长期记忆库，用于存储学习目标类，其步骤包括：

(1)提取所有的学习图的特征

视网膜的输入信息被诸如颜色，亮度，方位和纹理等初级特征平行地处理，每一个特征被分解成不同的特征类型。

(1.1)本发明将颜色分解成红、绿、蓝3种类型，分别记为r，g和b，对于每一特征类型图，计算它的均值和标准差，例如：(μ_i，1，σ_i，1)，(μ_i，2，σ_i，2)和(μ_i，3，σ_i，3)分别表示第i个学习图的红、绿、蓝3种特征类型。

在后续的特征提取中，如果学习图是彩色图，则首先将其转变成灰度图像再进行处理。

(1.2)本发明将亮度特征分为成亮度开启(由亮到暗)和亮度闭合(由暗到亮)2种类型，这是由于人类视觉系统的视觉感知场中的活性细胞有2种类型，中央开启的细胞增强中心亮的部分抑制周围亮的部分，中央闭合的细胞抑制中心亮的部分增强周边亮的部分(S.E.Palmer，Vision science，photons to phenomenology，The MIT Press，Cambridge，MA，1999)，将图像中每个点的像素值减去该点周围四邻域像素值的均值作为该点的响应值(如果是负值则令其为零)，这样得到了亮度开启的特征类型图，同样将图像中每个点周围四邻域像素值的均值减去该点的像素值作为该点的响应值(如果是负值则令其为零)，这样得到了亮度闭合的特征类型图。同样(μ_i，4，σ_i，4)和(μ_i，5，σ_i，5)分别表示亮度开启和亮度闭合2种特征类型。

(1.3)用Gabor滤波器检测出4个方位特征类型0°，45°，90°和135°，Gabor滤波器的数学表达式为：

h(u，v)＝q(u′，v′)cos(2πω_fu′)    (1)

其中

(u′，v′)＝(ucos(φ)+vsin(φ)，-usin(φ)+vcos(φ))      (2)

$q(u,v)=\frac{1}{2\mathrm{\π}{\mathrm{\δ}}_u{\mathrm{\δ}}_v}\exp (-\frac{u^2}{2{{\mathrm{\δ}}_u}^2}-\frac{v^2}{2{{\mathrm{\δ}}_v}^2})---\left(3\right)$

ω_f表示Gabor滤波器的中心频率，它决定了滤波器带通区域中心在频率上的位置，通过选取不同的ω_f可以得到不同的尺度。δ_u和δ_v分别是Gabor滤波器沿着横坐标和纵坐标的高斯包络的空间常量，δ_u、δ_v分别与Gabor滤波器的频率带宽B_f和方位带宽B_θ并有以下关系：

${\mathrm{\δ}}_u=\sqrt{\frac{\ln 2}{2}}\frac{1}{{\mathrm{\π\ω}}_f}\frac{2^{B_f}+1}{2^{B_f}-1}---\left(4\right)$

${\mathrm{\δ}}_v=\sqrt{\frac{\ln 2}{2}}\frac{1}{{\mathrm{\π\ω}}_f}\frac{1}{\tan (B_{\mathrm{\θ}}/2)}---\left(5\right)$

一般情况下取ω_f＝0.12，B_f＝1.25，B_θ＝π/6，φ是高斯坐标轴与横坐标轴的夹角，当φ分别取0°，45°，90°和135°时，得到4个不同的Gabor滤波器。在提取方位特征类型时，用这4个Gabor滤波器分别滤波，得到了4种方位的特征类型图，分别表示成(μ_i，6，σ_i，6)，(μ_i，7，σ_i，7)，(μ_i，8，σ_i，8)和(μ_i，9，σ_i，9)。

(1.4)对于纹理特征，本发明考虑了局部二值模式LBP(Local BinaryPattern)，LBP是用来描述图像的局部空间结构特征并且已被广泛用来解释人类感知的纹理特征，Ojala等人(T.Ojala，M.

and D.Harwood，“A comparative study of texture measures with classification based on featureddistributions，”Pattern Recognition，29(1)：51-59，1996.)首先介绍了这种算子并显示了其强大的纹理分类的能力。在图像中给定的位置(x_c，y_c)，LBP被定义为一个中心像素和周边八邻域像素比较得到的二值次序的集合(如图2所示)，结果的十进制可以被下述式子表示出来：

$\mathrm{LBP}(x_c,y_c)=\underset{n=0}{\overset{7}{\mathrm{\Σ}}}s(i_n-i_c)2^n---\left(6\right)$

其中i_c是中心位置(x_c，y_c)的像素值，i_n是周边八邻域的像素值，函数s(x)被定义成：

$s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.---\left(7\right)$

本发明使用了2个LBP算子，一个是原始的LBP算子，另一个是环半径的延伸的LBP算子，该算子可以保持尺寸和旋转不变性，当它的像素点不在像素中心时，是通过插值得到的，两个LBP算子如图3所示，被表示成(μ_i，10，σ_i，10)和(μ_i，11，σ_i，11)。所以，本发明一共使用了11个特征类型。

(2)将同一种类所有的学习图表示成均值向量和标准差向量

学习图的种类是指学习图中物体所属的类型，比如所有包含不同式样的杯子属于同一种类。本发明联合相同种类的不同学习图构成一个更加鲁棒更加一般的目标类(也可以称之为学习类)，并且将这个目标类存储在长期记忆库中。设T_i是第i个学习图的事件(i∈{1，2，L，n})，n表示所有学习图的个数。

(2.1)假设O是表示观察的随机变量，O＝o是o被观察到的事件。P(O＝o|T_i)是条件概率，表示在第i个学习图发生的情况下事件O＝o发生的概率。假设P(O＝o|T_i)服从正态分布N(μ_i，∑_i)，其中μ_i＝(μ_i，1，μ_i，2，L μ_i，11)^T，表示平均特征值的向量，∑_i是协方差矩阵，由于本发明假定不同的特征是相互独立的，所以协方差矩阵是一个对角矩阵，它的对角线上的元素等于特征的方差，记为

(2.2)令T是目标类发生的事件，本发明按照下述方式定义T：

$T=\underset{i}{U}{T}_i---\left(8\right)$

换句话说，一个观察事件属于某一个目标类当且仅当它属于这个类中的某一个物体。

本发明考虑O|T的分布并且得到下面的式子：

$P(O=o|T)=P(O=o,\underset{i}{U}{T}_i)/P\left(\underset{i}{U}{T}_i\right)---\left(9\right)$

$=\underset{i}{\mathrm{\&Sigma;}}P(T_i,O=o)/\underset{i}{\mathrm{\&Sigma;}}P\left(T_i\right)---\left(10\right)$

$=\underset{i}{\mathrm{\&Sigma;}}P(O=o|T_i)P\left(T_i\right)/\underset{i}{\mathrm{\&Sigma;}}P\left(T_i\right)---\left(11\right)$

$=\underset{i}{\mathrm{\&Sigma;}}P(O=o|T_i)w_i---\left(12\right)$

其中

$w_i=P\left(T_i\right)/\underset{j}{\mathrm{\&Sigma;}}P\left(T_j\right)=\frac{1}{n}$ (因为每一个T_i是等可能发生的事件)    (13)

$\mathrm{\&mu;}=E\left[O\right|T]=\underset{o}{\&Integral;}\mathrm{oP}(O=o|T)\mathrm{do}---\left(14\right)$

$=\underset{o}{\&Integral;}o\left(\underset{i}{\mathrm{\&Sigma;}}P(O=o|T_i)w_i\right)\mathrm{do}$ (利用方程(12))    (15)

$=\underset{i}{\mathrm{\&Sigma;}}{w}_i\left(\underset{o}{\&Integral;}\mathrm{oP}(O=o|T_i)\mathrm{do}\right)---\left(16\right)$

$=\underset{i}{\mathrm{\&Sigma;}}{w}_{i}E\left[O\right|T_i]=\underset{i}{\mathrm{\&Sigma;}}{w}_i{\mathrm{\&mu;}}_i---\left(17\right)$

${\mathrm{\&sigma;}}^2=E\left[{\left(O\right|T)}^2\right]-{\left(E\right[\left(O\right|T)\left]\right)}^2---\left(18\right)$

$=\underset{o}{\&Integral;}{o}^{2}P(O=o|T)\mathrm{do}-{\mathrm{\&mu;}}^2---\left(19\right)$

$=\underset{o}{\&Integral;}{o}^2\left(\underset{i}{\mathrm{\&Sigma;}}P(O=o|T_i)w_i\right)\mathrm{do}-{\mathrm{\&mu;}}^2$ (利用方程(12))    (20)

$=\underset{i}{\mathrm{\&Sigma;}}{w}_i\left(\underset{o}{\&Integral;}{o}^{2}P(O=o|T_i)\mathrm{do}\right)-{\mathrm{\&mu;}}^2---\left(21\right)$

$=\underset{i}{\mathrm{\&Sigma;}}{w}_{i}E\left[{\left(O\right|T_i)}^2\right]-{\mathrm{\&mu;}}^2=\underset{i}{\mathrm{\&Sigma;}}{w}_i({\mathrm{\&sigma;}}_i^2+{\mathrm{\&mu;}}_i^2)-{\mathrm{\&mu;}}^2---\left(22\right)$

方程(14)、(15)、(16)、(19)、(20)和(21)中的do表示对变量o的积分。由上式获得的μ和σ仍然是向量，为了与以上记号的区别，记为μ(f)和σ(f)，1≤f≤11，一般说来，O|T有多种形式的分布，但是为了作为一种近似地表达，本发明仅考虑其服成标准正态分布的情况。

通过处理许多相同类的不同位置和尺寸的学习图片，本发明得到它们的目标表示并且联合它们形成一个目标类的表示。

如图1所示，本发明方法包括以下步骤：

第1步  对于一个给定的待注意图，本发明提取颜色，亮度，方位和纹理等初级视觉特征。颜色特征被分解成红、绿、蓝3种类型；根据视觉感知场中活性细胞的2种类型，亮度特征被分为成亮度开启(由亮到暗)和亮度闭合(由暗到亮)2种类型；用4个方位(0°，45°，90°和135°)的Gabor滤波器分别对待注意图进行滤波，得到4种方位特征类型；对待注意图，分别用原始的LBP算子和环半径延伸的LBP算子计算得到的2种纹理特征类型。这样一共得到了待注意图的11种特征类型。

第2步  本发明在这一部分根据待注意图的11种特征类型和长期记忆库中存储学习目标类得到自顶向下的显著性图；与此同时，根据待注意图的11种特征类型本身的对比度得到一个自底向上的显著性图。

(A)获取待注意图的自顶向下的显著性图

为了检测待注意图中特殊的目标，本发明使用存储在长期记忆库中的学习目标类的表示联合不同的特征图，形成一个自顶向下的显著性图。

对于待注意图I，根据以上提取的11种特征类型，每一种特征类型构成一个与待注意图大小相同的特征类型图，选择一些不同的学习图的尺寸作为滑动窗口，对于坐标位置(x，y)，本发明使用滑动窗口通过每一个特征类型图并在每一个窗口中计算均值和标准差，并将待注意图I的第f个特征类型的第s个尺度的均值和标准差分别记为μ_I，f，s(x，y)和σ_I，f，s(x，y)。如果在该点处的均值和标准差与学习图的均值和标准差越接近，那么认为该点与学习图越相似，所以本发明定义第f个特征类型，第s个尺度的响应图为：

$R_{f,s}(x,y)=\frac{1}{|{\mathrm{\&mu;}}_{I,f,s}(x,y)-\mathrm{\&mu;}\left(f\right)|\&times;|{\mathrm{\&sigma;}}_{I,f,s}(x,y)-\mathrm{\&sigma;}\left(f\right)|+1},---\left(23\right)$

其中分母上的1是为了避免R_f，s(x，y)变得无界，μ(f)和σ(f)分别是学习目标的第f特征类型的均值和标准差。第f特征类型在不同的空间尺度联合生成的响应图R_f(x，y)为：

$R_f(x,y)=\underset{s}{\mathrm{\&Sigma;}}{R}_{f,s}(x,y)---\left(24\right)$

在获得每一个特征类型的响应图之后，本发明用空间竞争函数来融合这些响应图。具体过程如下：先将每个响应图R_f(x，y)标准化到[0，1]区间内变成

然后对每一个响应图用两维差分滤波器(DoG)反复迭代，两维差分滤波器如方程(25)所示。

$\mathrm{DoG}(x,y)=\frac{c_{\mathrm{ex}}^2}{{2\mathrm{\&pi;\&sigma;}}_{\mathrm{ex}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\&sigma;}}_{\mathrm{ex}}^2}-\frac{c_{\mathrm{inh}}^2}{2{\mathrm{\&pi;\&sigma;}}_{\mathrm{inh}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\&sigma;}}_{\mathrm{inh}}^2}---\left(25\right)$

σ_ex和σ_inh的取值与待注意图I的宽度值有关，取值范围在宽度值的1％到100％之间，本发明中σ_ex和σ_inh分别取待注意图I宽度值的2％和25％；c_ex和c_inh是常数，其取值范围在区间[0.1，1]内，本发明中c_ex和c_inh分别取0.5和1.5。在迭代过程中，如果出现了负值则令其为零，如方程(26)所示。

$\stackrel{\&OverBar;}{R_f}(x,y)\&LeftArrow;|\stackrel{\&OverBar;}{R_f}(x,y)+\stackrel{\&OverBar;}{R_f}(x,y)*\mathrm{DoG}-C_{\mathrm{inh}}{|}_{\&GreaterEqual;0}---\left(26\right)$

符号|·|_≥0表示丢弃负值部分，符号←表示在迭代的过程中将右边的值赋给左边，C_inh为常数，其取值范围在区间[0，0.1]内，本发明中取C_inh＝0.02，这样迭代的结果是增强了显著性的区域，抑制了非显著性的区域。

设空间竞争函数为g，本发明使用g联合所有的特征类型形成一个自顶向下的显著性图。

$S_{\mathrm{td}}(x,y)=g\left(\underset{f}{\mathrm{\&Sigma;}}\stackrel{\&OverBar;}{R_f}(x,y)\right)---\left(27\right)$

(B)获取待注意图的自底向上的显著性图

自底向上显著性图包括颜色特征，亮度特征和方位特征，采用Itti等人提出的模型就可以完成。

作为本发明的一种改进，自底向上显著性图也可以考虑纹理信息，这种自底向上显著性模型是Itti等人提出的模型的一种延伸。下面具体说明如下：

将待注意图分解成3种颜色特征类型，2种亮度特征类型，4种方位特征类型和2种纹理特征类型，对于每一个特征类型图，将其分解成9个高斯金字塔图(从尺度0到尺度8)，这样对于特征类型图F_α(1≤α≤11)，有9个高斯金字塔图F_α(β)(β∈{0，1，K，8})，F_α(0)的尺寸等于待注意图的尺寸，F_α(1)的尺寸是F_α(0)尺寸的一半，F_α(2)的尺寸是F_α(1)尺寸的一半，……F_α(8)的尺寸是F_α(7)尺寸的一半，取c∈{2，3，4}，τ∈{3，4}，a＝c+τ，令

F_α(c，a)＝|F_α(c)ΘF_α(a)|    (28)

其中Θ表示高斯金字塔的逐点差，这样每一个特征类型图都有6个特征图，再将这6个特征图融合成一个特征类型响应图

以保持尺度不变性：

其中

表示逐点求和。

在坐标点(x，y)处的值可以表示为

本发明使用Itti等人的特征图归一化算子N(.)来增强显著峰较少的特征图，而削弱存在大量显著峰的特征图。对每一特征图，该算子的操作包括：1)归一化该特征图至一固定范围[0，L，M]内，以消除依赖于特征的幅度差别，其中M是该特征图中的最大像素值；2)计算除全局最大值外所有局部极大的均值

3)用

乘该特征图。所有小于最大值20％的值都置为零。

仅考虑局部极大值可使N(.)对特征图中有意义的区域进行比较，而忽略均匀区域。全局最大值与所有局部极大均值之差反映了最感兴趣区域与平均感兴趣区域间的差别。若该差值较大，最感兴趣区域就会突出出来，若该差值较小，表明特征图中不含任何具有独特性质的区域。N(.)的生物学依据在于它近似地表达了皮层的侧抑制机制，即近邻相似特征通过特定的联结相互抑制。所有的特征类型响应图被归一化，并求均值得到自底向上显著性图S_bu(x，y)，如式(30)所示：

第3步  获取最终显著性图

自顶向下与自底向上的显著性图如上所述，最终的显著性图是他们点对点的乘积，这两个图都竞争显著性，自顶向下图强调学习的特征而自底向上的图强调图本身的显著性，为了使他们可比较，用另外一个标准化算子Norm(.)将自顶向下和自底向上的显著性图标准化到[0，1]区间内，具体是将自顶向下显著性图中的每一点的像素值除以自顶向下显著性图中的最大像素值，将自底向上显著性图中的每一点的像素值除以自底向上显著性图中的最大像素值。最后将这两个标准化后的图的乘积作为最终显著性图S(x，y)。

S(x，y)＝Norm(S_td(x，y))×Norm(S_bu(x，y))    (31)

由以上的计算过程可知，此时最终显著性图S(x，y)的尺寸是待注意图I的尺寸的1/16，为了与待注意图的尺寸保持一致，将S(x，y)的尺寸放大到与I相同的尺寸。

第4步  胜者全赢(Winner-take-all)：对于最终显著性图中的每一点ψ，根据熵的最大化方法获得一个最优的尺寸ψ_r，如方程(32)所示，此方程表示了该点位置处的空间显著性。

${\mathrm{\&psi;}}_r=\underset{r}{\arg \max }\{H_D(r,\mathrm{\&psi;})\&times;W_D(r,\mathrm{\&psi;})\}---\left(32\right)$

其中D是最终显著性图中以圆心为ψ半径为r的圆形局部区域所有像素值的集合，半径r的取值范围是从待注意图长度和宽度值中最小值的1/12到1/3，H_D(r，ψ)是根据方程(33)得到的熵值，W_D(r，ψ)是由方程(34)得到的尺度间的尺度。

$H_D(r,\mathrm{\&psi;})=-\underset{d\&Element;D}{\mathrm{\&Sigma;}}{p}_{d,r,\mathrm{\&psi;}}{\log }_2{p}_{d,r,\mathrm{\&psi;}}---\left(33\right)$

$W_D(r,\mathrm{\&psi;})=\frac{r^2}{2r-1}\underset{d\&Element;D}{\mathrm{\&Sigma;}}|p_{d,r,\mathrm{\&psi;}}-p_{d,r-1,\mathrm{\&psi;}}|---\left(34\right)$

其中p_d，r，ψ是通过在以上局部区域内标准化像素的直方图得到的概率块函数，描述值d是集合D中的一个元素。

这样对于最终显著性图中的每一点ψ，获得了一个最优的尺寸ψ_r，再计算该点在一个局部区域内的均值，这个局部区域是以该点为圆心，以ψ_r为半径的圆形区域，所有的均值构成了一个图，该图中最大值的点即为最显著的点，最显著的点和该点对应的最优尺寸构成了最显著的区域。

第5步  返回抑制(Inhibition-of-return)：根据胜者全赢的方法得到了一个最显著的区域，在视线注意到这一区域之后，为了实现注意转移，使之注意到下一个区域，就要消除当前最终显著性图中的最显著性的区域，本发明是将最终显著性图中最显著的区域的像素值都置为零。这样就得到了一个新的最终显著性图。

第6步  注意选择：重复步骤第4步至第5步，直至预先设定的次数λ，当4≤λ≤10时能达到良好的实验效果，完成后得到的最显著性的点和该点所在区域的尺寸，作为注意焦点。

实例：

本发明使用了Itti模型，VOCUS自顶向下模型Navalpakkam模型和本发明的模型分别作用于相同的待注意图像和学习图。在50组实验中，有24个自然场景，包括20个单目标场景和4个多目标场景，此外还有26个合成的场景，包括17个单目标场景和9个多目标场景。实验有两种形式，一种是知道要注意的特征类型，例如如果本发明的任务是寻找水平的红色的目标，则此时第一个特征类型红色和第六个特征类型0°是相关的特征类型，所以令μ(1)＝1，σ(1)＝0，μ(6)＝1，σ(6)＝0，其余的均值和方差都为零，实验结果如图4所示。另外一种方法是不知道要注意的特征类型，以一个自然场景为例，图5和图6分别是学习图和待注意图的实验结果。图7是四种模型的所有目标的实验结果的直方图

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

Claims (4)

1.一种生物激励的自顶向下的视觉注意方法，其步骤为：

第1步 对于一个给定的待注意图，先提取颜色，亮度，方位和纹理初级视觉特征；将颜色特征分解成红、绿、蓝3种类型，将亮度特征分解成亮度开启和亮度闭合2种类型；用4个方位的滤波器分别对待注意图进行滤波，得到4种方位特征类型；分别用原始的LBP算子和环半径延伸的LBP算子计算得到的2种纹理特征类型，一共得到待注意图的11种特征类型；

第2步 根据待注意图的11种特征类型和长期记忆库中存储学习目标类得到自顶向下的显著性图；根据待注意图的11种特征类型本身的对比度得到一个自底向上的显著性图；

第3步 将自顶向下显著性图中的每一点的像素值除以自顶向下显著性图中的最大像素值，将自底向上显著性图中的每一点的像素值除以自底向上显著性图中的最大像素值，最后将这两个标准化后的图的乘积作为最终显著性图；

第4步 利用胜者全赢的方法，得到最终显著性图中的最显著的点和该点对应的最优尺寸构成了最显著区域；

第5步 将最终显著性图中最显著区域的像素值都置为零，得到一个新的最终显著性图；

第6步 重复第4步至第5步，直至预先设定的次数，完成后得到的最显著性的点和该点所在区域的尺寸，作为注意焦点。

2.根据权利要求1所述的生物激励的自顶向下的视觉注意方法，其特征在于，第2步，按照下述过程获取待注意图的自顶向下的显著性图：

每一种特征类型构成一个与待注意图大小相同的特征类型图，对于待注意图I，根据提取的11种特征类型，选择不同的学习图的尺寸作为滑动窗口，对于坐标位置(x，y)，使用滑动窗口通过每一个特征类型图并在每一个窗口中计算均值和标准差，并将待注意图I的第f个特征类型的第s个尺度的均值和标准差分别记为μ_I，f，s(x，y)和σ_I，f，s(x，y)；第s个尺度的响应图R_f，s(x，y)为：

$R_{f,s}(x,y)=\frac{1}{|{\mathrm{\&mu;}}_{I,f,s}(x,y)-\mathrm{\&mu;}\left(f\right)|\&times;|{\mathrm{\&sigma;}}_{I,f,s}(x,y)-\mathrm{\&sigma;}\left(f\right)|+1},$

其中，μ(f)和σ(f)分别是学习目标的第f特征类型的均值和标准差，第f个特征类型在不同的空间尺度联合生成的响应图R_f(x，y)为：

$R_f(x,y)=\underset{s}{\mathrm{\&Sigma;}}{R}_{f,s}(x,y)$

在获得每一个特征类型的响应图之后，使用空间竞争函数联合所有的特征类型形成一个自顶向下的显著性图S_td(x，y)：

$S_{\mathrm{td}}(x,y)=g\left(\underset{f}{\mathrm{\&Sigma;}}\stackrel{\&OverBar;}{R_f}(x,y)\right).$

3.根据权利要求1所述的生物激励的自顶向下的视觉注意方法，其特征在于，第2步，按照下述过程获取待注意图的自底向上的显著性图

对于每一个特征类型图，将其分解成9个高斯金字塔图，其尺度是从尺度0到尺度8，标记为β，这样对于特征类型图F_α，有9个高斯金字塔图F_α(β)，1≤α≤11，β∈{0，1，K，8)，F_α(0)的尺寸等于待注意图的尺寸，F_α(1)的尺寸是F_α(0)尺寸的一半，F_α(2)的尺寸是F_α(1)尺寸的一半，……F_α(8)的尺寸是F_α(7)尺寸的一半，取c∈{2，3，4}，τ∈{3，4}，a＝c+τ，令

F_α(c，a)＝|F_α(c)ΘF_α(a)|

其中Θ表示高斯金字塔的逐点差，这样每一个特征类型图都有6个特征图，再将这6个特征图融合成一个特征类型响应图

以保持尺度不变性：

其中

表示逐点求和。

在坐标点(x，y)处的值可以表示为

所有的特征类型响应图被归一化，并求均值得到自底向上显著性图S_bu(x，y)：

4.根据权利要求1、2或3所述的生物激励的自顶向下的视觉注意方法，其特征在于，第2步中的按照下述过程建立长期记忆库中存储学习目标类：

(A1)提取所有的学习图的初级视觉特征，得到11个特征类型；

(A2)将同一种类所有的学习图表示成均值向量和标准差向量；

$\mathrm{\&mu;}=\underset{i}{\mathrm{\&Sigma;}}{w}_i{\mathrm{\&mu;}}_i$

${\mathrm{\&sigma;}}^2=\underset{i}{\mathrm{\&Sigma;}}{w}_i\left(\underset{o}{\&Integral;}{o}^{2}P(O=o|T_i)\mathrm{do}\right)-{\mathrm{\&mu;}}^2$

其中

n表示所有学习图的个数；μ_i＝(μ_i，1，μ_i，2，L μ_i，11)^T表示第i个学习图的均值向量；T_i是第i个学习图的事件(i∈{1，2，L，n})；P(O＝o|T_i)表示在T_i发生的条件下事件o出现的概率；do表示对变量o的积分。

Images