CN101916379A - 一种基于对象积累视觉注意机制的目标搜索和识别方法 - Google Patents

Abstract

本发明公开了一种基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于：根据视觉注意模型预注意阶段计算中的中间数据，首先基于对象积累机制对目标进行学习，然后利用学习获得的目标先验知识作为自顶向下的信息，结合自底向上的信息，基于对象积累机制搜索和识别目标。该方法充分利用视觉注意模型预注意阶段的中间数据，结合自顶向下信息和自底向上信息，具有极大的灵活性和自适应性，能够快速识别目标并获得可靠的识别结果。

Description

一种基于对象积累视觉注意机制的目标搜索和识别方法

技术领域：

本发明涉及图像处理和人工智能技术领域，尤其是基于对象积累视觉注意机制在遥感图像中对目标进行搜索和识别的方法。

背景技术：

遥感图像数据信息丰富，如何从海量数据中挖掘出用户感兴趣的信息，其研究具有重要价值。提高遥感图像处理系统的自动化程度，准确发现并识别各类重要目标，实现遥感图像向情报信息的快速转化，可以将人从枯燥烦杂的图像判读活动中解放出来，更重要的是可以提高遥感图像情报信息的时效性和精确制导武器的打击效果，充分发挥侦察卫星的军事效益。人类视觉注意系统使用选择性注意力，使人关注与任务相关的重要信息，从而提高处理效率。在遥感图像自动解译的过程中，使用选择性视觉注意力能够根据当前的相关行为和视觉任务处理重要信息。

初级视觉系统的主要目标就是将视觉注意机制有效地运用在和当前可视任务相关联的信息处理中。信息存在两种方式指导注意力转移，自底向上基于图像显著性的引导和自顶向下基于任务的引导。仅仅通过自底向上的信息处理方式并不能使注意力有效转移到目标区域。第二种控制注意力的方式更加有效，根据当前任务获得先验信息，进而设置多种特征参数影响注意力转移。这种自顶向下注意力主要由高级皮层区域控制，能够和初级视皮层以及初级视觉区域相连通。

国内外研究人员模拟人类的视觉注意机制提出了很多的模型，其中大部分都是基于Treisman的特征整合理论，从输入图像提取多方面的特征，如颜色、方向、亮度、运动等，形成各个特征维上的特征图FM(feature maps)。然后对这些特征图进行分析、融合得到显著图SM(saliency maps)。显著图中可能含有多个待注意的候选目标，通过竞争机制选出唯一的注意目标。这些模型主要的区别在于使用不同的方法来提取和整合初级视觉特征，从而进一步控制注意力运动。美国专利公开文献US2002154833公开了一个视觉注意模型(Itti L，Koch C，Niebur E.(1998).A model of saliency-based visual attention for rapid scene analysis.IEEE Trans-actions on pattern analysis and machine intelligence，20(11)：1254-1259.)，利用图像中自底向上的信息，计算得到反映场景中突出特征的显著图，自动选择和提取可能包含目标对象的显著区域，然后使用显著图指导视觉注意力在场景或图像的显著点之间进行转移。确定显著点后，以固定半径画一个圆，提交此区域为关注区域至识别模块，不考虑此圆盘是否完整覆盖目标。美国专利公开文献US2005047647的作者Walther等人，在美国专利公开文献US2002154833的工作基础上，改进了过去只能关注显著点坐标处固定半径圆盘区域的方法(Walther D，Koch C.(2006).Modeling attention to salient proto-objects.Neural Networks，19(9)：1395-1407.)，使注意区域为对应于显著点坐标处近似目标大小范围的一片连续的区域。Walther的方法得到的区域分割结果在很大程度上减少了数据冗余量，但是由于没有引入目标相关的先验知识，提取到的关注区域并不能够完整覆盖目标。另一方面，和基于空间的视觉注意模型不同，通过分析输入图像的Log频谱，Hou等人计算出图像在频域的波谱残留，提出了一种构建空间域图像显著图的快速算法(Hou，X and Zhang，L.(2005).Saliencydetection：A spectral residual approach.CVPR，1-8)。波谱残留模型能够迅速有效提取场景中较小的显著目标。但是对于较大显著目标，算法往往将其划归为场景要素信息，从而不能获得良好的提取效果。

同时，研究人员对如何在合适的时刻使用自顶向下信息(先验知识)做了有益的尝试。例如，在视觉预注意阶段引入了与搜索目标相关的先验知识，通过对于与目标相关的初级视觉特征的加重，得到最后的显著图(Navalpakkam，2006)；提出在对象层次的基于规则的视觉注意区域检测算法，试图在传统视觉注意区域和高层语义之间搭建桥梁(Yu，2007)；在预注意阶段通过自底向上显著性，场景上下文和自顶向下机制综合作用引导注意力转移(Torralba，2006)，预测人类观察者倾向于关注的区域。

目前视觉注意模型存在以下问题：1.缺乏知识引导情况下的自底向上的信息处理方式并不能够使注意力有效转移到兴趣目标区域；2.在显著图的生成过程中加重目标相关特征的权值是一种简单的目标知识引入方式，但是依据该显著图的注意力转移路径是固定的，不能很好地体现知识在整个注意过程中的动态引导过程。在当前图像处理和人工智能领域中，如何利用先验知识和底层信息更好地模仿视觉注意的生物机制进行目标搜索和识别工作，有待于进一步的研究。

发明内容：

本发明的目的在于针对现有技术的不足，提供一种基于对象积累视觉注意机制的目标搜索和识别方法，根据视觉注意模型预注意阶段计算中的中间数据，首先基于对象积累机制对目标进行学习，然后利用学习获得的目标先验知识作为自顶向下的信息，结合自底向上的信息，基于对象积累机制搜索和识别目标。

本发明进一步提供的方法，根据视觉注意模型预注意阶段计算中的中间数据，首先基于对象积累机制对目标进行学习，然后利用学习获得的目标先验知识作为自顶向下的信息，结合自底向上的信息，基于对象积累机制搜索和识别目标。

所述的对目标进行学习包括以下步骤：

S101.输入遥感图像和明确包含目标区域的二值化模板；

S102.视觉注意模型对输入图像进行数据预处理，计算得到42张特征图，7张原始突出图和1张显著图，确定42张特征图上对应目标区域内的能量，形成42维特征能量向量描述目标，所述42张特征图具有7维特征，每维特征6个尺度，所述的7维特征分别是1维亮度特征，2维颜色特征和4维方向特征，寻找7张原始突出图上对应目标区域内能量的最大值，从而确定其原始突出图对应特征维为工作特征，进而确定主特征；

S103.确定工作特征后，寻找工作特征对应多个不同尺度的特征图上目标区域内能量最大的尺度，确定其尺度对应特征图为当前学习工作图；

S104.使用otsu算法对学习工作图进行自适应二值分割，所得到二值图内包含一系列与背景形成一定程度对比的光滑连续的图斑区域；

S105.在学习工作图的目标区域内找到一个能量最大的图斑作为主图斑，将主图斑作为目标显著部件的表征，计算主图斑的特征能量向量；

S106.以主图斑为中心，逐渐积累合并周围临近的图斑，随图斑区域不断积累合并至完整覆盖目标区域的过程中，确定多维特征原始金字塔图上对应区域内原始能量的变化趋势，确定能量稳定的特征；

S107.当积累合并目标区域外的图斑时，确定能量的相对变化量，将所述的能量的相对变化量设定为阈值；

S108.结合工作特征和辅特征的能量变化情况，确定图斑引导的基于对象积累视觉注意模型中的积累策略；

S109.确定目标42维特征向量向量、目标主图斑特征能量向量、主特征、辅特征和能量相对变化量以及空间约束关系为对应当前目标所学习到的目标表达向量。

所述的目标的搜索和识别包括以下步骤：

S201.输入图像，视觉注意模型对其进行数据预处理，对应主特征的每个尺度的特征图，利用otsu算法进行自适应二值分割，提取出一系列图斑区域；

S202.根据学习获得的目标知识，对主特征每张特征图上的每个图斑，计算在42张特征图上对应图斑区域内的能量，形成42维特征能量向量描述图斑，然后计算每个图斑42维特征能量向量和目标主图斑42维特征能量向量之间的欧式距离，根据欧式距离寻找触发图斑，所述欧式距离由小到大结果对图斑排序，将排序好的结果放在队列中，从队列中取第一个距离最小的图斑作为触发图斑；

S203.选择触发图斑后，激活积累过程，确定触发图斑所在特征图为当前工作图，计算当前工作图上触发图斑内能量并将其设置为初始能量标准，计算当前工作图上所有图斑和触发图斑的空间距离，并按由小到大排序，然后连续取当前工作图上临近图斑和触发图斑合并，在这个过程中，判断合并区域的能量变化，若超出学习过程得到的所述阈值，则中止积累过程；

S204.提交当前积累区域作为有效关注区域并作为初步识别结果；

S205.对当前有效关注区域使用禁止返回策略，提取队列中下一个次近图斑作为触发图斑进行积累过程。

所述寻找7张原始突出图上对应目标区域内能量的最大值，从而确定其原始突出图对应特征维为工作特征是采用如下公式进行计算：

其中，I表示亮度特征通道；RG表示红绿颜色对比通道，BY表示蓝黄颜色对比通道；0°，45°，90°，135°表示使用Gabor滤波器进行四个方向滤波后产生的对应四个特征通道。

所述的确定主特征采用如下公式进行：

其中，L_I表示亮度特征通道；L_C表示颜色特征通道；L_O表示方向特征通道。

所述S102中的计算主图斑的特征能量向量包括：计算42张特征图上主图斑对应目标区域内的能量，形成42维特征能量向量描述目标主要部件。

所述S106中确定能量稳定的特征采用对象积累方式进行。

所述S108中的辅特征包括迭代过程中的特征能量向量数据中任意一维与工作特征具有相同的能量变化趋势的特征。

所述S203、S204以及S205还能够为：确定触发图斑所在特征图为当前工作图，计算当前工作图上触发图斑内能量并将其设置为初始能量标准；计算当前工作图上所有图斑和触发图斑的空间距离，由小到大排序，不断取当前工作图上临近图斑和触发图斑合并，积累得到完整的目标区域；并将目标区域作为初步识别结果输出。

所述S205中的对当前有效关注区域使用禁止返回策略的实现方式为：将排序队列中处于当前有效关注区域内的图斑删除。

本发明充分利用视觉注意模型预注意阶段的中间数据，计算不同目标的统计属性，在图斑引导下使用对象积累机制获得目标积累过程中的能量变化趋势，学习获得目标表达(Object Representation)，形成先验知识，作为自顶向下的信息参与遥感图像中给定目标的搜索工作。进而结合自顶向下信息和自底向上信息，利用学习获得的目标表达，迅速引导注意力关注任务区域，通过对象积累机制获得关注区域并作为初步识别结果输出，具有极大的灵活性和自适应性。并且在知识引导情况下的自底向上的信息处理方式能够使注意力有效转移到兴趣目标区域。在显著图的生成过程中加重目标相关特征的权值是一种简单的目标知识引入方式，但是依据该显著图的注意力转移路径是固定的，能很好地体现知识在整个注意过程中的动态引导过程。

附图说明

图1表示显著性视觉注意模型框架；

图2表示基于对象积累视觉注意机制的目标自动学习模型；

图3表示基于对象积累视觉注意机制的目标搜索和识别模型；

图4示出本发明实施例和Walther的模型以及Hou的模型的性能比较结果；

图5示出本发明实施例和Walther的模型以及Hou的模型的搜索性能比较结果；

图6表示本发明实施例和SIFT识别算法的性能比较结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明的一种基于对象积累视觉注意机制的目标搜索与识别方法进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明基于Koch等人的工作成果(美国专利公开文献US2002154833)。他们的模型利用自底向上来源于图像中的信息，计算出反映图像显著位置的显著图，最后输出显著点坐标。而本发明提供了基于对象积累机制的视觉注意模型，通过结合自顶向下知识和自底向上知识，能够在遥感图像中快速定位目标、提取出包含目标的区域并提供初步识别结果。在深入介绍本模型的实施细节之前，首先简要介绍Koch等人的工作内容，了解自底向上基于显著性的模型的工作机制。

如图1所示，显示了显著性视觉注意模型的框架。输入彩色图像，将图像和高斯滤波器进行卷积，获得滤波结果并以2为步长进行减抽样，尺度级别为σ＝1，2，..，9。模型可设定任意数量的尺度级别，当前实施例中，使用九个尺度级别(尺度级别1，代表当前图像和原始图像的比例为1∶1；尺度级别9，代表经过8次高斯平滑和8次减抽样操作，代表当前图像和原始图像的比例为1∶256)。

用r，g，和b表示红、绿、蓝通道的数值，则亮度图为：

$M_I=\frac{r+g+b}{3},---\left(1\right)$

使用M_I构建亮度高斯金字塔图M_I(σ)。

为了突出不同颜色通道产生的反差效果，在图像金字塔的每一层上，模型计算对应红绿对比通道以及蓝黄对比通道的颜色图：

$M_{\mathrm{RG}}=\frac{r-g}{\max (r,g,b)}---\left(2\right)$

$M_{\mathrm{BY}}=\frac{b-\min (r,g)}{\max (r,g,b)}---\left(3\right)$

使用M_RG，M_BY构建颜色高斯金字塔图M_RG(σ)，M_BY(σ)。

然后，使用Gabor滤波器对亮度金字塔M_I(σ)进行滤波，得到局部方向高斯金字塔图M_θ(σ)，滤波器设定四个主要方向，θ∈{0°，45°，90°，135°}。

对颜色、亮度和方向多维特征，在其图像金字塔上，应用中央周边差操作。中央周边差操作根据人眼的生理结构设计。人眼感受野对于反差大的视觉信息输入反应强烈，例如中央暗周边亮的情况，中央是红色周边是绿色的情况，这都属于反差较大的视觉信息。对每维特征进行中央周边差操作，以探测场景或图像中的空间不连续性，很好地模仿了视网膜上探测突出目标的机制。对于每维特征，中央尺度c为金字塔的3，4，5尺度级别，周边尺度s＝c+δ，其中δ∈{3，4}，从而产生六对尺度，(3-6，3-7，4-7，4-8，5-8，5-9)。通过将周边尺度s的图像进行线性插值，使之和中央尺度c的图像具有相同大小，然后进行点对点的减操作，获得中央周边差图。对每维特征的每层中央周边差图进行归一化操作，获得特征图：

$F_{l,c,s}=N\left(\right|M_l\left(c\right)\mathrm{\Θ}{M}_l\left(s\right)\left|\right),\∀l\∈L=L_{I}U{L}_{C}U{L}_O,---\left(4\right)$

这里，c＝3，4，5，表示中央尺度；s＝c+δ，s表示周边尺度，δ∈{3，4}；L_I＝{I}，I表示亮度特征通道；L_C＝{RG，BY}，RG表示红绿颜色对比通道，BY表示蓝黄颜色对比通道；L_O＝{0°，45°，90°，135°}，0°，45°，90°，135°表示使用Gabor滤波器对亮度金字塔进行四个方向滤波后产生的对应四个特征通道；N(·)是一个迭代的、非线性的归一化算子，抑制噪声，突出显著目标。模型中包含亮度特征图6张，颜色特征图2×6张，局部方向图4×6张，总共42张特征图。

对所得亮度特征图F_I，c，s、颜色特征图F_RG，c，s，F_BY，c，s和局部方向特征图F_0°，c，s，F_45°，c，s，F_90°，c，s，F_{135°，c，s}，进行跨尺度加

操作，然后再次进行归一化操作：

$\stackrel{\‾}{F_l}=N\left(\underset{c=3}{\overset{5}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}{F}_{l,c,s}\right),\∀l\∈L---\left(5\right)$

这里，跨尺度加

操作首先将每张特征图缩放到相同尺度级别(本实施例中选定第4级)，然后进行点对点加操作。为了后继步计算便利，将此步骤中计算所得的

定义为原始突出图RCM(raw conspicuity maps)。

然后，对颜色和方向特征，将原始突出图进行线性叠加和归一化操作得到其各自对应的突出图CM(conspicuity maps)，而亮度突出图则等同于

$C_I=\stackrel{\‾}{F_I},C_C=N\left(\underset{l\∈L_C}{\mathrm{\Σ}}\stackrel{\‾}{F_l}\right),C_O=N\left(\underset{l\∈L_O}{\mathrm{\Σ}}{\stackrel{\‾}{F}}_l\right)---\left(6\right)$

对所得亮度突出图C_I，颜色突出图C_C和方向突出图C_O，进行线性叠加获得显著图：

$S=\frac{1}{3}\underset{k\∈\{I,C,O\}}{\mathrm{\Σ}}{C}_k---\left(7\right)$

模型使用显著图指导视觉注意力在场景或图像的显著点之间按照显著性降序进行转移。注意力的转移过程中，使用胜者为王机制WTA(Winner Take All)和禁止返回机制IOR(Inhibition OfReturn)。注意力应当首先关注场景中最显著的刺激，对应显著图最大响应值位置。通过构建胜者为王WTA神经竞争网络，能够使注意力自动选择关注最显著刺激所在的位置。但是，如果不设置特定的控制机制，显著刺激永远保持相应显著度，仅仅使用胜者为王机制的注意力将无法转移，注意焦点将恒定地指向最显著的目标。因此，基于显著度的视觉注意模型引入了禁止返回IOR的神经机制。当注意力关注过某显著点后，竞争网络产生一个脉冲，显著图接受到这个脉冲信号，屏蔽以显著点为中心的领域空间范围，注意力得以顺利的转移想其它显著的目标。当出现若干显著度相同的显著点时，注意力将依照格式塔原则中的“临近原则”转向距离上一次关注目标最近的显著位置。

为了有效地使用自顶向下知识，本发明提供了一种基于对象积累机制的目标自动学习方法，使用当前视觉注意模型中的数据表征目标对象。

如图2所示，显示了基于对象积累视觉注意机制的目标自动学习方法的模型框架。输入一幅图像和明确包含目标区域的二值化模板。视觉注意模型开始工作，计算各个特征维度上的特征图FM和原始突出图RCM，亮度(1个通道6个尺度)、颜色(2个子通道6个尺度)和方向(4个子通道6个尺度)，总共42幅特征图，7幅原始突出图。模型计算42幅特征图上目标区域内的能量(均值)，将学习到的42个能量值组成一个42维向量，形成目标对象的特征能量向量：

计算7幅原始突出图上目标区域内的能量，比较能量大小，确定能量最大的特征为工作特征(Working Feature)：

式中，I表示亮度特征通道；RG表示红绿颜色对比通道，BY表示蓝黄颜色对比通道；0°，45°，90°，135°表示使用Gabor滤波器进行四个方向滤波后产生的对应四个特征通道。

同时，确定目标主特征(Primary Feature)：

这里，L_I表示亮度特征通道；L_C表示颜色特征通道；L_O表示方向特征通道。

已知工作特征，接下来遍历工作特征f_w对应6个尺度的特征图，比较相应目标区域内能量大小，确定能量最大的工作图层：

$(c_w,s_w)=\underset{c\∈\left\{\mathrm{3,4,5}\right\},s=c+\mathrm{\δ},\mathrm{\δ}\∈\left\{\mathrm{3,4}\right\}}{\arg \max }\left({\mathrm{\μ}}_{f_w,c,s}\right),---\left(11\right)$

确定相应特征图为学习工作图

使用otsu算法对学习工作图进行自适应二值分割得到二值图A，包含一系列图斑(blob)区域。接下来，利用目标区域内和目标区域外的图斑来建立积累策略。模型分别判断积累目标区域内图斑所得结果的能量变化情况和积累目标区域外图斑所得结果的能量变化情况，从而确定积累属于目标区域的图斑的能量变化规律，设置阈值，进而为目标搜索和识别服务。

利用图斑引导注意力关注目标时，首先引起视觉注意的图斑通常不会完整的覆盖目标区域。但是，这样的区域往往会涵盖目标的主要部件，是目标主要能量的集中体现。例如，人类在遥感图像中搜索机场目标时，机场的纹理特征和亮度特征都能引起人的注意，但是目标场景中显著的航站楼(亮度值高)往往会首先吸引人的注意力。在模型设计的过程中，引导注意力首先关注亮度高的区域，会增大命中机场目标的几率。也就是，确定给定目标的显著部件的能量表征，在搜索过程中匹配图斑和显著部件的相关性，对于提高目标的搜索效率，具有非常重要的作用。在确定目标显著部件的基础上，使用对象积累机制完整提取目标区域，能够获得较好的识别结果。

模型确定在学习工作图的目标区域内能量最大的图斑，也就是最突出的图斑，作为主图斑，将主图斑作为目标显著部件的表征。提取主图斑轮廓区域做为当前学习区域r，计算42幅特征图上主图斑轮廓区域内的能量，将所得42个能量值组成一个42维向量，形成目标对象的主图斑特征能量向量：

计算亮度高斯金字塔图M_I(σ)、颜色高斯金字塔图M_RG(σ)，M_BY(σ)和局部方向高斯金字塔图M_θ(σ)，θ∈{0°，45°，90°，135°}在σ＝0尺度级别上，对应当前学习区域内的能量来确定原始能量向量：

如果目标区域内仍然包含其它图斑，找到距离当前学习区域最近的图斑，将图斑区域和当前学习区域合并(积累)，更新当前学习区域，计算区域的原始能量向量i＝0，...，N表示目标区域内积累图斑次数。重复迭代，积累目标区域内的图斑，并将迭代过程中计算所得的原始能量向量结果存入临时存储器。

当目标区域内的图斑积累完毕，如果目标区域外存在有其它的图斑，找到距离当前学习区域最近的图斑，然后将图斑区域和当前学习区域合并(积累)，更新当前学习区域，计算区域的原始能量向量E(i+j)，j＝1，...，N表示目标区域外积累图斑次数。不断迭代，积累目标区域外的图斑，将原始能量向量结果存入临时存储器。

当学习工作图上的图斑遍历完毕后，分析迭代过程中的原始能量向量数据，判断积累过程中各维特征上学习区域的能量变化情况。针对遥感图像的特点，同一目标包含的不同部件一般为同质对象，也就是图斑区域的能量非常接近。所以，在目标区域内，图斑合并过程中，其区域能量是比较稳定的。当合并区域外图斑时候，区域能量开始递增或者递减，此时能量的相对变化量可以作为阈值在目标搜索时使用。模型计算工作特征维f_w对应的学习区域能量的相对变化量来设置阈值：

$\mathrm{\ϵ}=\frac{|e_{f_w}\left(0\right)-e_{f_w}(i+1)|}{e_{f_w}\left(0\right)},---\left(14\right)$

式中，

表示工作特征维f_w对应主图斑区域内能量；

表示模型合并不属于目标区域的图斑后，所形成当前学习区域内的能量。

为了提高积累策略的有效性，模型建立多特征的能量变化联系，起到辅助判别的效果，增加鲁棒性。在迭代过程中的特征能量向量数据中，如果存在有任一维特征与工作特征具有相同的能量变化趋势，将其确定为辅特征f_s(Secondary Feature)，计算迭代过程中辅特征能量的相对变化量：

$\mathrm{\φ}=\frac{|e_{f_s}\left(0\right)-e_{f_s}(i+1)|}{e_{f_s}\left(0\right)},---\left(15\right)$

式中，

表示辅特征对应主图斑区域内能量；

表示模型合并不属于目标区域的图斑后，所形成当前学习区域内的能量。

结合工作特征和辅特征的能量变化情况，确定图斑引导的基于对象积累视觉注意模型中的积累策略：

π＝(f_w，ε，f_s，φ)                                            (16)

同时，随着遥感技术进步，卫星拍照时使用的传感器，传感器的瞬时视场角，成像时的侧视角和数据的编码能够随图像数据同时获知。进而可以得到遥感图像的地面分辨率，也就是每个像元所代表的实际地面大小。例如，美国的陆地卫星(Landsat)的TM遥感数据，一个像元代表地面28.5米×28.5米的面积，一般笼统的称为此遥感图像的地面分辨率为30米。不同的遥感图像具有不同的地面分辨率，通过遥感图像的地面分辨率，模型能够估计目标的实际空间大小，形成空间约束关系。当输入新的遥感图像数据，利用给定目标的实际空间大小约束关系，可推出目标在当前图像中空间大小，进而提高目标的命中率和准确覆盖程度。利用已知的包含目标的二值化模板，计算目标图斑属性，获得与目标区域具有相同标准二阶中心矩的椭圆的长轴长度和短轴长度，这里的长轴和短轴长度都是以象素来度量的。将长轴长度和短轴长度乘以地面分辨率，可得知实际的以米为单位度量的地面长轴长度l_major和地面短轴长度l_minor，模型将其定义为空间约束关系：

η＝(l_major，l_minor)，                                           (17)

若遥感图像数据中无法获知地面分辨率，空间约束关系可置空值。

通过以上步骤，模型完成对目标的学习，形成基于对象积累视觉注意机制模型的目标表达向量：

目标表达向量

使用视觉注意模型中的中央周边差图统计目标特征属性，中央周边差图反映了场景中信息的反差，是场景或图像中的空间不连续性的反映。图中越明亮的区域表示该区域和周边环境的对比强烈，昏暗的区域表示该区域和周边环境差异不明显。因此将目标表达向量应用于场景中的目标搜索和识别，具有旋转、平移、尺度缩放和光照不变性。

本发明相应提出一种基于对象积累机制的目标搜索和识别方法，将目标表达向量

作为自顶向下的先验知识和自底向上来源于图像的底层信息结合起来，利用图斑特征作为引导，不断迭代积累对象，合并区域表征对象，由表征简单对象开始，进而表征复杂对象，迅速有效地引导视觉注意力搜索相关目标，完整提取目标区域，并提供初步识别结果。模型输出一系列排序后的目标相关区域，排序越靠前的区域包含目标的可能性越大。针对这些区域，使用更为复杂、严格并且更耗时的的识别算法，能够获得高鲁棒性的识别结果。但是，针对目前的应用范围，本模型的主要目的是在遥感图像中迅速有效的查找给定目标，利用学习获得的知识，将积累模型首次输出的目标区域作为初步识别结果，能够很好地满足应用要求。

如图3所示，显示了基于对象积累视觉注意机制的目标搜索和识别方法的模型框架。输入一幅遥感图像和给定待搜索的目标，视觉注意模型开始工作，计算各个特征维度上的特征图FM和显著图SM。已知目标表达向量

将搜索范围缩小至对应目标主特征的各层特征图

c∈{3，4，5}，s＝c+δ，δ∈{3，4}，f_p∈{L_I，L_C，L_O}，L_I＝{I}，L_C＝{RG，BY}，L_O＝{0°，45°，90°，135°}。若f_p＝L_I，则

对应亮度通道的6个不同尺度共6张特征图；若f_p＝L_C，则

对应颜色通道的RG，BY两个特征子通道的6个不同尺度共12张特征图；若f_p＝L_O，则

对应方向通道的0°，45°，90°，135°四个特征子通道的6个不同尺度共24张特征图。使用otsu算法对特征图

进行自适应二值分割得到二值图

图中包含一系列图斑(blob)区域。用idx表示图斑区域序号，用idx＝{1，...，N}表示对应特征图上的图斑，N表示特征图上的图斑个数。对应主特征各层特征图上所有候选图斑，计算其图斑区域对应在42幅特征图上的能量，形成42维特征能量向量：

已知目标对象的主图斑特征能量向量

计算主图斑特征能量向量和候选图斑特征能量向量之间的欧式距离进行相似性度量：

式中，||·||表示求向量和

的模。这里，模型比较目标主图斑和候选图斑之间的相似性，目的是确定特征图上最可能包含目标的区域位置。由于目标完整区域一般是多个图斑的合并结果，将候选图斑特征能量向量和目标特征能量向量比较属于局部部件比较整体部件的情况，这样的对比并不合理。主图斑特征能量向量是目标的能量的集中体现，属于目标的主要部件，比较主图斑特征能量向量和候选图斑特征能量向量的相似性来获得局部部件比较局部部件的结果，更具有说服力。在确定和目标主图斑最相似的候选图斑后，利用对象积累机制提取目标完整区域，再将目标特征能量向量和积累后完整目标区域的特征能量向量进行距离度量，判别整体和整体之间的相似性，更能够增添结果的鲁棒性。

将所有图斑按照欧式距离由小到大排序，将排好序的结果放在队列中。确定距离最小图斑所在的主特征对应具体子通道、特征图层以及图层上的图斑区域序号：

$(f_T,c_T,s_T,{\mathrm{idx}}_T)=\underset{f\∈f_{p,}c\∈\mathrm{3,4,5},s\∈\{c+3,c+4\},\mathrm{idx}\∈\{1,...,N\}}{\arg \min }{D}_B,---\left(21a\right)$

$B=A_{f_p,c,s}\left(\mathrm{idx}\right),---\left(21b\right)$

确定相应的图斑为触发图斑：

$b_T=A_{f_T,c_T,s_T}\left({\mathrm{idx}}_T\right),---\left(22\right)$

确定触发图斑所在的特征图为当前工作特征图，确定图斑bT所处区域为有效关注区域V。

计算当前工作特征图

上图斑b_T区域内的能量δ作为初始能量标准，进行下一步相关性判断：

δ＝μ(r)，                                       (22)

式中，μ(·)是给定区域r内的均值，r为图斑区域。

计算当前工作图上所有图斑和触发图斑的空间距离，已知目标的空间约束关系η＝(l_major，l_minor)，若空间距离超过l_major，则放弃该图斑，将剩余图斑由小到大排序，排序结果放在集合S中。

接下来，不断取当前工作图上临近图斑和触发图斑合并。在S中，寻找一个最近的图斑b，判断其对象相关性：

$f_{\mathrm{relevancy}}=\left\{\begin{array}{cc}\mathrm{true},& \mathrm{if\; Dif}(C(b,V),V)\≤\mathrm{\ϵ\δ}\\ \mathrm{false},& \mathrm{otherwise}\end{array}\right.,---\left(23\right)$

C(b，V)表示将图斑b和当前有效区域V合并的操作，通过包含两个区域轮廓的凸多边形来实现；Dif(·)描述区域之间的能量差异。ε通过目标学习得到。如结果为真，将合并后的区域作为新的有效关注区域。如结果为假，放弃区域合并操作，模型在集合S中寻找下一个次近图斑继续积累过程。当集合S中的图斑搜索完毕后，积累过程中止，提交当前有效关注区域作为初步识别结果进行下一步处理。

最后，模型对当前有效关注区域应用禁止返回策略，同步刷新排序队列。在本发明中，禁止返回策略的实现方式为：将排序队列中处于当前有效关注区域内的图斑删除。接下来，模型从排序队列中提取下一个触发图斑进行新一轮积累过程。当队列中的图斑遍历完毕后，搜索和识别任务结束。

以下进一步说明本实施例的应用情况：

根据本发明的应用范围，设计两类可以反映模型运行表现的实验：目标搜索和目标识别。在目标搜索任务中，我们将本发明的模型和Walther的显著区域检测模型、Hou的波谱残留模型以及专家手动获得目标轮廓的真实结果(GroundTruth)进行比较。在目标识别任务中，我们将本发明和当前领域内应用效果最优秀的基于SIFT特征的识别算法(David G.Lowe.(2004).Distinctive imagefeatures from scale-invariant keypoints.International Journal of Computer Vision，60(2)，91-110)进行比较。以上方法均通过VC++2005的程序实现，运行环境为Pentium(R)D CPU 2.80GHz处理器，0.99GB内存，Windows XP操作系统。

测试图像集合包含200幅遥感图像(例如，可摘录自earth google卫星照片的局部影像)，分辨率为756×667像素。在200幅测试图像中，包含40个不同的目标(例如，可包含机场、桥梁和湖泊等目标)，对应每个目标包含4幅几何、光学变换图像，分别为：平移+旋转变化；尺度缩放+视角变化；光照变化；高斯模糊。在目标识别任务中，将包含40个不同目标的图像作为学习训练图像，将包含40个不同目标的图像以及对应的160幅几何、光学变化图像混和起来作为待识别图像。在目标搜索任务中，使用完整的200幅图像进行搜索比较工作。

在目标搜索任务中，定义如下的评价标准：查全率(recall)、准确率(precision)、随注意力转移目标命中率HRWAS(The Hit Rate Within AttentionShifts)。

评价标准查全率(recall)和准确率(precision)定义如下：

$\mathrm{recall}=\frac{R_D\∩R_G}{R_G}---\left(24\right)$

$\mathrm{precision}=\frac{R_D\∩R_G}{R_D}---\left(25\right)$

R_D为使用不同模型检测到的关注区域，R_G为专家手动获得目标轮廓的真实结果区域。

如本实施例检测到的关注区域和真实结果区域产生交集，则认为命中目标。HRWAS定义如下：

$\mathrm{HRWAS}=\frac{N_S}{N_T},s=(\mathrm{0,1,2},\·\·\·,\∞)---\left(26\right)$

N_S为在注意力转移s次后目标命中数量，N_T为200幅图像中总目标数量。完美的HRWAS曲线在任何转移次数和时间内都应该接近1。实际上，击中率曲线随着转移次数或者时间增加而逐步上升。

在目标识别任务中，将本实施例第一次输出的关注区域作为识别结果输出，若关注区域和真实结果区域产生交集，则认为正确识别出目标；将SIFT算法计算得到的匹配点作为识别结果输出。由于SIFT识别算法得到的是一系列可靠的匹配点，每个匹配点具有坐标、尺度和方向参数，计算包含所有匹配点的区域凸集，若匹配点区域和真实结果区域产生交集，则认为正确识别出目标。

定义识别率(Recogniton Rate)如下：

$R=\frac{N_R}{N_T},---\left(27\right)$

式中，N_R为识别出的目标数量，N_T为200幅图像中总目标数量。

定义平均运行时间APT(Average Processing Time Per Image)如下：

$\mathrm{APT}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_i}{n},n=200,---\left(28\right)$

式中，n表示识别图像数量；t_i，i＝1，...n表示每幅图的算法处理时间。

本实施例进行目标搜索和识别的一个示例，包含搜索识别中的完整积累过程。目的是在遥感图像中寻找某一特定目标(如机场)，实施例首先使用原图及其目标二值化模板进行学习，然后在经过平移旋转和尺度缩放变化后的图像中搜索机场区域。通过学习，获得当前目标的目标表达向量，其主特征为亮度特征。针对某一特定目标，模型在搜索过程中，第一次就命中了该目标的显著性(亮度)最高的特征区域(如机场的航站楼和停机坪)，然后将此特征区域作为触发图斑，积累相关区域，最后将所确定的区域作为初步识别结果输出。此时，recall＝0.96177，precision＝0.56018。本模型第一次输出的关注区域和真实结果区域产生交集，则认为正确识别出目标。

对所有图片进行测试后，本实施例中所使用的本发明基于对象视觉积累的模型，Walther模型和Hou的波谱残留模型各自的平均准确率、平均查全率展示在图4中。由图4可见，三个模型所获得的准确率接近的情况下，本实施例的查全率最高，能够获得完整覆盖目标的关注区域。

三个模型的HRWAS和HRWT结果展示在图5中。注意力转移次数依赖于图像分辨率和图像中目标大小。实验中，我们统计注意力转移10次命中目标的数量。本实施例学习获得目标的先验知识，并将其和底层特征相关联。通过使用主特征对应图斑的特征能量向量和目标主图斑特征能量向量之间欧式距离的度量方式，能够在三个模型中获得最高的首次命中率，同时能够以较少注意力转移次数命中目标。

图6显示了使用本实施例所使用的本发明基于对象视觉积累机制的模型和SIFT识别算法对测试集进行目标识别的结果。本发明模型获得了88.5％的识别率，SIFT识别算法获得了92.5％的识别率，这表示两种方法都能够有效学习目标，对目标进行分类和识别。同时，本实施例模型处理每张图像所使用的平均运行时间APT为6.781秒，而SIFT识别算法处理每张图像所使用的平均运行时间APT为15.437秒。本实施例模型使用42维特征能量向量来表征目标，而SIFT算法使用的若干个128维关键点向量来描述目标。本实施例实验使用的分辨率为756×667像素的图片，使用SIFT算法能够提取出2500～5500个关键点，并且在多尺度处理、卷积操作以及关键点匹配的时候需要耗费相当长的计算时间。

本实施例在高分辨率遥感图像搜索感兴趣目标方面能够取得比传统方法更好的搜索结果，基于对象积累视觉注意机制迅速关注目标区域，并提取出完整目标区域以进行下一步处理。同时本实施例合理引入了目标先验知识，相比传统识别方法，能够快速识别目标，并获得可靠的识别结果。

Claims (10)

1.一种基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于：根据视觉注意模型预注意阶段计算中的中间数据，首先基于对象积累机制对目标进行学习，然后利用学习获得的目标先验知识作为自顶向下的信息，结合自底向上的信息，基于对象积累机制搜索和识别目标。

2.根据权利要求1所述的基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于：所述的对目标进行学习包括以下步骤：

S101.输入遥感图像和明确包含目标区域的二值化模板；

S102.视觉注意模型对输入图像进行数据预处理，计算得到42张特征图，7张原始突出图和1张显著图，确定42张特征图上对应目标区域内的能量，形成42维特征能量向量描述目标，所述42张特征图具有7维特征，每维特征6个尺度，所述的7维特征分别是1维亮度特征，2维颜色特征和4维方向特征，寻找7张原始突出图上对应目标区域内能量的最大值，从而确定其原始突出图对应特征维为工作特征，进而确定主特征；

S103.确定工作特征后，寻找工作特征对应多个不同尺度的特征图上目标区域内能量最大的尺度，确定其尺度对应特征图为当前学习工作图；

S104.使用otsu算法对学习工作图进行自适应二值分割，所得到二值图内包含一系列与背景形成一定程度对比的光滑连续的图斑区域；

S105.在学习工作图的目标区域内找到一个能量最大的图斑作为主图斑，将主图斑作为目标显著部件的表征，计算主图斑的特征能量向量；

S106.以主图斑为中心，逐渐积累合并周围临近的图斑，随图斑区域不断积累合并至完整覆盖目标区域的过程中，确定多维特征原始金字塔图上对应区域内原始能量的变化趋势，确定能量稳定的特征；

S107.当积累合并目标区域外的图斑时，确定能量的相对变化量，将所述的能量的相对变化量设定为阈值；

S108.结合工作特征和辅特征的能量变化情况，确定图斑引导的基于对象积累视觉注意模型中的积累策略；

S109.确定目标42维特征向量向量、目标主图斑特征能量向量、主特征、辅特征和能量相对变化量以及空间约束关系为对应当前目标所学习到的目标表达向量。

3.根据权利要求1或2所述的基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于，所述的目标的搜索和识别包括以下步骤：

S201.输入图像，视觉注意模型对其进行数据预处理，对应主特征的每个尺度的特征图，利用otsu算法进行自适应二值分割，提取出一系列图斑区域；

S202.根据学习获得的目标知识，对主特征每张特征图上的每个图斑，计算在42张特征图上对应图斑区域内的能量，形成42维特征能量向量描述图斑，然后计算每个图斑42维特征能量向量和目标主图斑42维特征能量向量之间的欧式距离，根据欧式距离寻找触发图斑，所述欧式距离由小到大结果对图斑排序，将排序好的结果放在队列中，从队列中取第一个距离最小的图斑作为触发图斑；

S203.选择触发图斑后，激活积累过程，确定触发图斑所在特征图为当前工作图，计算当前工作图上触发图斑内能量并将其设置为初始能量标准，计算当前工作图上所有图斑和触发图斑的空间距离，并按由小到大排序，然后连续取当前工作图上临近图斑和触发图斑合并，在这个过程中，判断合并区域的能量变化，若超出学习过程得到的所述阈值，则中止积累过程；

S204.提交当前积累区域作为有效关注区域并作为初步识别结果；

S205.对当前有效关注区域使用禁止返回策略，提取队列中下一个次近图斑作为触发图斑进行积累过程。

4.根据权利要求2所述的基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于，所述寻找7张原始突出图上对应目标区域内能量的最大值，从而确定其原始突出图对应特征维为工作特征是采用如下公式进行计算：

其中，I表示亮度特征通道；RG表示红绿颜色对比通道，BY表示蓝黄颜色对比通道；0°，45°，90°，135°表示使用Gabor滤波器进行四个方向滤波后产生的对应四个特征通道。

5.根据权利要求2所述的基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于，所述的确定主特征采用如下公式进行：

其中，L_I表示亮度特征通道；L_C表示颜色特征通道；L_O表示方向特征通道。

6.根据权利要求2所述的基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于，所述S 102中的计算主图斑的特征能量向量包括：计算42张特征图上主图斑对应目标区域内的能量，形成42维特征能量向量描述目标主要部件。

7.根据权利要求2所述的基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于，所述S106中确定能量稳定的特征采用对象积累方式进行。

8.根据权利要求2所述的基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于，所述S108中的辅特征包括迭代过程中的特征能量向量数据中任意一维与工作特征具有相同的能量变化趋势的特征。

9.根据权利要求3所述的基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于，所述S203、S204以及S205还能够为：确定触发图斑所在特征图为当前工作图，计算当前工作图上触发图斑内能量并将其设置为初始能量标准；计算当前工作图上所有图斑和触发图斑的空间距离，由小到大排序，不断取当前工作图上临近图斑和触发图斑合并，积累得到完整的目标区域；并将目标区域作为初步识别结果输出。

10.根据权利要求3所述的基于对象积累视觉注意机制的目标搜索和识别方法，其特征在于，所述S205中的对当前有效关注区域使用禁止返回策略的实现方式为：将排序队列中处于当前有效关注区域内的图斑删除。

Images