CN102214298A

CN102214298A - 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法

Info

Publication number: CN102214298A
Application number: CN201110166001XA
Authority: CN
Inventors: 王鑫; 王斌; 张立明
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2011-06-20
Filing date: 2011-06-20
Publication date: 2011-10-12
Anticipated expiration: 2031-06-20
Also published as: CN102214298B

Abstract

本发明属于遥感图像目标检测与识别技术领域，具体为一种基于选择性视觉注意机制的遥感图像机场目标快速检测和识别的方法。本发明用改进后的注意力选择模型GBVS(Graph-basedVisualSaliency)对原始遥感图像进行显著性分析，得到显著性区域，并根据区域上的SIFT(Scale-invariantFeatureTransform)特征结合HDR(HierachicalDiscriminantRegression)树达到机场目标识别的目的。本发明能有效地克服传统机场检测方法中对图像逐像素分析的缺点。实验结果表明，本发明较现有的其它机场检测方法具有速度快、识别率高、虚警率低的特点，同时对噪声有较强的鲁棒性，非常适用于军事和民用领域复杂背景下的实时目标检测，对于实际应用具有较大的意义和价值。

Description

基于选择性视觉注意机制的遥感图像机场目标检测与识别方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种遥感图像机场目标快速检测与识别的方法。

背景技术

遥感图像中典型目标的检测与识别是当前自动目标检测与识别研究的热点。机场作为一类特定目标, 在军事和民用领域都具有十分重要的意义, 受到越来越多的关注。然而，机场所处的区域背景往往很复杂，这给它的检测与识别带来了困难。

常用的机场检测与识别的方法大致分为两类^[1]：基于边缘提取的方法和基于区域分割的方法。前者是根据机场跑道的平行长直线特性而来的，从图像中提取它的边缘，然后通过Hough^[2]变换等方法进行直线检测并辅以纹理识别以达到机场的确认^[1][3][4]。而后者则是基于机场与周围纹理的差异性，通过图像分割的方法达到提取备选区域的目的，再在备选区域内进行识别^[5]-[7]。

上述两类方法各自有优点也有不足。基于边缘提取的方法速度快、复杂度低，机场区域也能够检测出直线，但由于背景的干扰，有许多非机场目标的区域会被检测出来，如公路、山脉等等，这些干扰物都会影响识别的准确性。此外，仅仅使用Hough变换的结果来定位机场，由于其所检测出的直线长度可能超出或短于实际跑道长度，故对机场的定位相对模糊。而基于纹理分割的方法在刻画机场区域方面要做的更好，而且它不依赖于Hough变换的结果，干扰相对少，机场本身固有的一些纹理特性也使其便于特征的训练和识别。但该方法在图像分割时需要逐像元分析，因而速度慢、复杂度高，识别效果依赖于分割阈值的选取，并且是否能够找到对旋转、缩放、平移鲁棒性强的用于识别的特征也会影响识别效果。值得一提的是，目前关于机场检测的文献中对于识别的虚警率往往避而不谈，遥感图像的覆盖范围很广，当我们在对各幅不同的图像进行识别时，不仅要保证目标不被遗漏，还要确保没有目标的地方不被识别出目标，这样才有实际的应用价值。

近年来，注意力选择^[8]被广泛地应用到模式识别领域中，并且在自然图像的目标识别方面已经收到了很好的效果。所谓视觉注意力，就是指视觉图像场景中引起我们关注的区域。人可以在短时间内找出眼前具有显著特征的物体，机器视觉却无法做到，是因为人的注意力选择机制在发挥着作用。注意力选择过程可分为自底向上(Bottom up)和自顶向下(Top down)两部分：自底向上的过程是指由输入图像生成显著图的过程，显著区域即那些具有较强对比度的区域或与周围有明显差异的区域，这一过程是数据驱动的，它不受主观意识支配；而自顶向下的过程则是与人的先验知识及判断有关的，有助于从显著区域中确定目标区域。针对机场检测问题，由于机场与周围的差异性比较大，我们可以认为其是显著的，因而可以将注意力选择机制引入到机场检测中。

目前已有许多学者对注意力选择机制其进行了建模。早期Itti和Walther在计算结构上模仿人脑形成视觉显著性的神经机制而分别提出了NVT^[9]模型和STB^[10]模型，随后Bruce基于信息论提出了最大熵AIM^[11]模型，但上述三种模型计算量大复杂度高，在工程上难以应用。为简化计算复杂度，基于频域的视觉显著性方法被提出来，包括Hou的SR^[12]模型以及Guo的PFT^[13]和PQFT^[14]模型，这类模型运算速度很快，在自然图像上收到了不错的效果。但我们实验后发现，上述这些模型在遥感图像复杂背景的情况下，识别效果不甚理想，因为自然图像的背景往往是平滑的单一的，目标很容易被分离出来，而遥感图像杂乱无章的地表背景严重干扰了识别效果。与之不同的是，Harel的GBVS^[15]模型收到了相对好的效果，只是运行速度上过慢而难以实时操作。如何找出适用于机场检测问题的注意力选择模型，并将它与用于识别的特征描述算子相结合以检测、识别机场，是本发明主要想解决的问题。

发明内容

本发明的目的在于提供一种快速、精确的单波段遥感图像机场检测和识别的

方法。

本发明提出的遥感图像机场目标检测与识别方法，是一种基于选择性视觉注意机制的方法，该方法使用改进后的注意力选择模型GBVS对输入遥感图像进行显著性分析，得到显著区域，然后提取显著区域上的SIFT特征并代入HDR树中识别，最终确定机场区域。与传统的机场检测和识别的方法相比，本发明不需要逐个像素地对原始图像进行分析，降低了运算复杂度，同时解决了机场定位不精确的问题，有效地降低了周围复杂背景对检测过程的干扰。本发明具有速度快、识别率高、虚警率低的特点，同时对噪声有较强的鲁棒性，非常适用于军事和民用领域复杂背景下的实时机场目标检测，对于实际应用具有较大的意义和价值。

本发明提供的遥感图像机场检测与识别方法，包括两部分：改进的GBVS视觉注意计算模型和基于视觉显著性的机场目标检测与识别，分别描述如下：

1. 改进的GBVS的视觉注意计算模型

GBVS模型是以NVT模型为基础，在获得多特征通道信息之后，对每张特征图运用马尔可夫随机场的特点构建二维图像的马尔可夫链，通过求其平衡分布而得到显著图。具体步骤如下：

a. 获取多尺度的亮度信息：对输入的灰度图像

，首先对其使用高斯金字塔低通滤波器进行滤波，高斯金字塔的每一阶都是一个二维高斯低通滤波器

：

(1)

式(1)中，

为图像中点的位置，

称为尺度因子，越小，图像平滑的范围越小。所谓金字塔，就是指对原始图像进行不断的1/2降采样和高斯低通滤波，滤波的随图像的变小而不断减小，每一阶的输入都是上一阶滤波后再降采样后的结果，最终得到一组不同尺度下的滤波结果。将这一组滤波结果记为

，表示亮度通道。

. 获取多尺度的方位信息：用二维Gabor金字塔滤波器组对原始灰度图像

进行滤波，得到方向上的信息。二维Gabor金字塔滤波器

表示如下：

(2)

其中，

为尺度因子,

为正弦波频率，为方位。一般情况下取：

即在四个方向上滤波。这样，与亮度信息类似，可以得到四组不同尺度下的滤波结果，记为

，表示方向通道。

. 求不同尺度和不同特征图的马尔可夫平衡：对上述五组结果中的每一组和每一个尺度的滤波结果 (记为)，求其马尔可夫平衡分布。

首先我们定义两个像素点和

的差异性如下：

(3)

根据(3)式，我们可以用图像中任意两点计算差异性，构建成全连接的图，图的每个顶点代表

一个像素，每条边代表两个点之间的权重，点

到点

的权重

为：

(4)

为高斯加权参数。也就是说权重

是由点间灰度差异和点间距离共同决定的。不难看出，任意两个相异点都有两条边：出边和入边，且权重相同。

接下来求图的平衡分布，代表着熵在图中不断流动，最终达到一种平衡态，与周围差异性大的点会得到更多的熵。求平衡态的过程就是求图对应权矩阵的最大特征值对应的特征向量的过程。

. 计算显著图：将所有组所有尺度的滤波结果依次计算出平衡分布后，将结果按照通道叠加起来并归一化。在同一通道内，小尺度的图像扩大后叠加到大尺度图像上，依次类推。亮度通道可以得到一张特征图，方向通道可以得到四张子方向特征图，合成另一张特征图。最后，再将这两张图线性相加并归一化得到最终的显著图，其大小与原始图像一致。

以往的文献中^[13][14]普遍认为GBVS最大的问题在于运算速度，考虑到这一问题再结合机场识别这一特定任务，本发明对GBVS模型做出了以下几点改进：

（1）由于机场跑道的存在，机场具有很好的方向性。为此我们将方向滤波器的数目从四个扩展到八个，以便更好的抓住这一特点。即：

。

（2）对原始图像进行Hough变换，并作为单独的一个通道加入到模型中，将检测到的直线用值为’1’的像素表示，并用高斯函数平滑，得到Hough通道的特征图。最后将其与亮度通道、方向通道的特征图等权重相加并归一化，得到最终显著图。

（3）考虑到大部分机场都具有中等以上的亮度，为了排除较暗背景（如河流、峡谷）的干扰，本发明将前面得到的显著图与经过一次滤波的原始灰度图像

相乘，得到新的显著图，并作为最终结果。如果说前面生成显著图的过程是没有人为干预的Bottom-up过程，那最后这步处理则是融入了先验知识（机场的亮度比较高）的Top-down过程了。

2.基于视觉显著性的机场目标检测与识别

本发明将改进后的GBVS模型引入到遥感图像机场目标检测中来，生成原始灰度图像对应的显著图，并根据显著性大小（即显著图内像素值的大小）得到几个可能存在目标的候选区域(ROC)，对每个候选区提取SIFT^[16]特征点和特征向量。本发明事先在训练数据上提取一些具有机场和非机场(如房屋、植被、山脉)的SIFT特征向量，用HDR树^[17]来训练，并将在候选区域上提取的SIFT特征代入到训练好的HDR树中进行识别。最后，根据各个候选区域的显著性大小和区域上具有机场特征的特征点数的多寡，确定一个候选区域为机场区域。具体步骤如下：

（1）训练：从原始的灰度图像中选取一些作为训练样本并提取SIFT特征点，把得到的SIFT特征点对应的特征向量分成两类：属于机场区域的标记为1，属于背景区域的标记为0，随后把这些带有标签的训练向量带入到HDR树中进行训练。

（2）预处理：对于一幅待识别的图像，首先对其是否存在机场目标做一个初步的判断，这样做一方面可以减少对无机场目标图像不必要的分析处理过程，加快了检测速度，另一方面还可以降低虚警率，排除掉一部分可能导致虚警发生的输入图像。我们知道机场最重要的特征就是跑道，而跑道具有很好的直线性，且在30m

30m分辨率下，最短的机场的跑道长度大致为40个像素长。那么我们依据跑道的存在性来进行筛选，具体的做法是对原始图像进行二值化处理后做Hough变换，如果存在长度大于40个像素的直线，则认为可能存在机场并进行显著性分析，否则直接按无目标跳过。此外，将Hough变换检测后的结果直接用到GBVS模型中。

（3）生成显著图：对于含有（存在）目标的图像，用改进的GBVS模型生成它的显著图。

（4）生成候选区：记显著图上最大像素值为

。第一步，从显著图中最亮的一个点向周围八邻域方向（即周围的八个像素方向）生长，如果某个方向上有某个像素值小于最亮点像素值的

倍，则该方向停止生长，其中，为取值在[0,1]间的阈值，在后面的参数实验中具体讨论。这一过程直到所有方向上的生长都停止为止。第二步，将生长完成的区域的外接矩形框画出来，此即为一个候选区域，然后将该候选区域内的所有像素值清零，以免被再次选中。第三步，计算上个候选区清零后的显著图中的最亮点的像素值。如果小于

，则表明所有候选区已提取完毕，进行下一环节；否则回到第一步以提取新的候选区。

（5）特征识别：对上步得到的候选区依次提取SIFT特征点和对应的特征向量，并把特征向量代入到训练好的HDR树中进行识别，获得每个特征点的标签（1为机场，0为背景）。待所有特征点标识完毕，计算各个候选区域的特征比：

(5) 。

（6）确定机场区域：上述的候选区提取是按照显著性从大到小的顺序确定候选区域的，那么每个候选区域有两个评价参数：显著性次序和特征比。我们先只观察特征比而不考虑区域显著性，如果只有一个区域的特征比大于设定的阈值

（

取值为0—0.3，一般取值为0.2，具体见后面讨论），则该区域即为机场区域，不再考察其它区域；若没有这样的区域，则按照区域的显著性大小次序依次考察各个候选区，只要考察的区域内含有机场特征点（即特征比不为0），便将该区域判定为机场区域。

本发明的优点

本发明是一种新的遥感图像机场目标检测和识别方法，它基于视觉注意力模型提取待测试图像的显著性备选区域，再在各备选区域提取SIFT特征并代入HDR树完成机场的识别。注意力选择模型具有速度快、复杂度低的特点，而SIFT特征具有仿射变换不变性，对各类大小、方向的机场有较好的描述能力。本发明克服了传统机场检测与识别算法中速度过慢、定位不精确的问题，拥有较高的检测效率和较好的检测效果。实验表明，本发明可以较好的抑制复杂背景的干扰，具有速度快、识别率高、虚警率低的特点，同时对噪声有较强的鲁棒性，适用于复杂背景下的机场目标实时检测。

附图说明

图1 逐步检测结果：中国济南机场。(a) 原始灰度图像，(b) 显著图，(c) 显著区域，(d) 识别结果。

图2 一些识别结果。(a) 中国成都，(b) 中国大连，(c) 中国拉萨，(d) 法国尼斯，(e) 克罗地亚萨格勒布，(f) 美国印第安纳。

图3 三种方法对比：土耳其伊斯坦布尔（上列图）和中国常州（下列图）。(a)和(d) 本发明方法，(b)和(e) 文献[5]方法，(c)和(f) 文献[3] 方法。

图4 三种方法的ROC曲线。

图5 识别率随输入信噪比变化曲线。

图6 参数

对识别率的影响。

图7 参数

对识别率的影响。

具体实施方式

将本发明的方法用于实际的遥感图像中进行实验，并与文献[3]以及文献[5]中的方法做比较。实验数据来自Google Earth。Google Earth上的数据是卫星影像与航拍数据的整合，其中卫星影像多为Landsat-7的数据。我们以30m30m的分辨率从世界各地截取了200幅大小的彩色图像，其中包含机场与不包含机场的各有100幅。实验中，我们将彩色图像转为灰度图象，然后选取其中包含机场的7幅作为训练数据，其余的193幅作为测试数据。

实验例1. 一些识别结果

在本发明方法中，由输入到显著图、候选区域、最终的识别区域一共四个主要过程，每个过程都有一张对应的结果图，如图1所示。本实验例中，取参数为

和

。从图1(b)中可以看到机场区域具有极高的显著性，并被判别为第一候选区域，虽然机场周围河流的存在使得沿河的一些区域也被确定为候选区域，但经过SIFT特征的识别，可以很好地把这些候选区域与机场区域区分开来。我们将其他的一些识别结果展示如图2。

实验例2. 方法比较：识别率、识别虚警率和运行时间

将本发明方法与文献[3]和文献[5]的方法进行比较，部分结果如图3所示。文献[3]是基于边缘提取的算法的一个代表，它对输入图像进行边缘检测，然后去除小的、弯的边缘并进行Hough变换求取长直线，并将直线附近区域的纹理代入支撑向量机(Support Vector Machine，SVM)识别。而文献[5]的方法则是区域分割类算法的代表，它首先对待识别图像进行区域分割；然后对整幅图像提取SIFT特征点并根据SIFT特征点的密度来聚群；接下来，将每个群的位置与区域分割的结果相对应得到若干候选区域；最后在候选区域上提取诸如均值、方差、各阶矩等统计特征，并代入到SVM中识别以确定机场区域。文献[5]中的参数选取为R=120，S=4，其中R为SIFT空间聚群的最大半径，S为群内最少的SIFT特征点数。本实验例中，根据实验数据调整其至最佳，选取R=80，S=3。

图3展示了一组三种方法都识别出来的和一组只有本文方法识别出来的例子。对于那些具有明显机场特征的、干扰少的机场区域，三种方法都可以识别出来，一旦机场区域特征点不够多，识别效果就受到影响了。我们把三种方法对所有两百张图像的识别率、识别虚警率和运行时间列出如表1，其中后两种算法都使用了30张图像作训练样本以保证SVM的分类效果。识别虚警率是指没有机场的图像中识别出目标的概率。

表1 三种方法比较

方法	识别率	识别虚警率	运行时间
				文献[5]	66%	28%	10min以上
文献[3]	65%	18%	2.43s
				本发明	91%	10%	2.59s

从表1可以看出，本发明方法在识别率、识别虚警率方面具有明显的优势，时间上与文献[3]相接近。文献[5]存在的主要问题以及本发明方法和它的主要差别在于：第一，文献[5]依靠SIFT特征点密度来确定候选区，但有些机场上能提取到的SIFT特征点数很有限，不能很好的覆盖机场，而且在SIFT空间聚群时，群的大小、半径也是因机场大小而异的，找不到一个固定的参数；而本发明方法使用注意力选择机制来提取候选区，并不涉及特征点的分布情况，且对机场的大小差异不敏感。第二，因为实际机场有大有小，文献[5]在图像分割时阈值不好选取，并且从单个像素合并生长的方法十分耗时；而本发明方法不是逐像素分析的，速度快且对机场差异适应性强。第三，也是文献[5]最大的问题，就是其在SVM识别时所选取的统计特征不具备良好的抗旋转性和抗缩放性。它所使用的统计特征中均值、方差代表性不强，而Zernike^[18]矩只用了第一阶，这是远远不够的，一般要到4、5阶矩才有较好的描述性，但是高阶Zernike矩计算速度很慢；本发明则使用SIFT特征作为识别依据，因为其有较好的仿射不变性且提取速度快，故能带来较好的识别效果和较高的识别效率。文献[3]在速度上是不错的，但其对水平、垂直方向上的机场的识别远远好于倾斜的机场。这是因为影响该算法效果的因素除了复杂背景的直线干扰外，还有就是它在四邻域找长直线，那么如果机场是倾斜的方向，就可能因为垂直、水平方向的边缘过短而被切割成好几段。也就是说，文献[3]的方法必须事先将原始图像旋转至机场方向才行。而注意力选择模型并不会因为方向的差异导致检测效果的下降，因此，本发明可以将各个方向的机场都检测出来。

实验例3. ROC曲线性能测试

ROC曲线(receiver operating characteristic curve曲线)^[19]常被用来衡量检测效率，它的横坐标是检测虚警率(False Positive Rate, FPR)，纵坐标为检测正确率(True Positive Rate, TPR)。这里的检测正确率与前面的识别率不同，它针对的是有没有目标的问题，而不关心目标的位置是否正确，检测虚警率也是相对检测正确率而言。将不同判断标准下的FPR和TPR绘制成一条曲线，曲线下面积越大，检测效率越高。我们将三种方法根据各自判别标准变化的ROC曲线绘制如图4所示。从图4中可以看到，本发明的方法的ROC面积明显大于其它两种

实验例4. 抗噪声干扰的性能测试

在遥感图像的拍摄中，加性噪声的存在是不可避免的，因此我们将对三种方法在人为加入高斯白噪声下的识别率进行测试。我们在含有机场的100张图像上依次添加信噪比从0dB到30dB变化的高斯白噪声，生成31组含噪声的图像，然后运用上述的三种方法对这31组图像进行识别，计算出不同噪声下各自的识别率，绘制出识别率曲线如图5所示。

实验例5. 参数分析

我们将对方法中涉及到的两个参数

和

对识别率的影响进行分析。参数的取值主要影响候选区域的大小和个数，选取

从0.1变化到0.9，步长0.05，分别计算每个

取值下的识别率，绘制出不同

的识别率曲线如图6所示。从图6可以看出，取值在0.3～0.4之间有着比较好的识别结果。

我们再考虑阈值

对识别率的影响。

的作用主要在于排除那些显著性高于机场且具有一定的机场特征的非机场区域，使得机场区域在不是第一显著性的情况下也能被正确识别。选取

从0变化到0.3，步长0.02，分别计算每个

取值下的识别率，绘制出不同

的识别率曲线如图7所示。图7表明，参数

对识别率的影响不是很大，识别率稳定在85%以上，这说明我们显著区域的提取效果比较好，机场总能位于第一显著区而被正确识别。我们看到在

时识别率达到最大值91%，这说明测试数据集中有一些图像的机场不是最显著的，但它拥有较高的特征比，在按显著性次序识别之前被提前找了出来。

参考文献：

[1] W. Wei, L. Li, H. Caibin, et al. “Airport detection in SAR image based on perceptual organization”, 2011 International Workshop on Multi-Platform/Multi-sensor Remote Sensing and Mapping (M2RSM), pp.1-5.

[2] Duda R.O. and Hart P.E., “Use of the hough transformation to detect lines and curves in pictures, ” CACM, vol. 15, no. 1, pp. 11–15. Jan.1972.

[3] Q. Yanyun , L. Cuihua and Z. Nanning , “Airport detection base on support vector machine from a single image”, Proc. ICICS, 2005. pp. 546-549.

[4] P. Yiming, F. Luhong and Y. Xiaobo, “Airport detection and runway recognition in SAR images,” Proc. IEEE Int. Geosci. Remote Sens. Symp., 2003, pp. 4007-4009.

[5] T. Cai, T. Yihua, C. Huajie and T. Jinwen, “Airport detection from large IKONOS images using clustered SIFT keypoints and region information”, IEEE Geosci. Remote Sens. Lett., vol. 8, No.1, pp.128-132, Jan.2011.

[6] L. Dehong, H. Lihan and L. Carin, “Airport detection in large aerial optical imagery”, IEEE international conference on acoutics, speech and signal processing, 2004. vol. 5, pp. 761-764

[7] N. Zhou, W. Chen, et al, “Airport detection algorithm in large area satellite borne SAR images,” Systems Engineering and Electronics, vol. 31, no. 8, Aug.2009.

[8] R. Desimone, J. Duncan, “Neural Mechanisms of Selective Visual Attention,” Annual Reviews in Neuroscience, Vol. 18, pp. 193-222, 1995.

[9] L. Itti, C. Koch, E. Niebur, et al, “A model of saliency-based visual attention for rapid scene analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20 no.11, 1254-1259, 1998.

[10] D.Walther and C. Koch, “Modeling attention to salient proto-objects,” Neural Networks, vol. 19, pp. 1395–1407, 2006.

[11] N. D. Bruce and J. K. Tsotsos, “Saliency based on information maximization,” NIPS, 2005.

[12] X. Hou and L. Zhang, “Saliency detection: A spectral residual approach,” CVPR, 2007.

[13] C. L. Guo, Q. Ma, and L. M. Zhang, “Spatio-temporal saliency detectionusing phase spectrum of quaternion Fourier transform,” CVPR, 2008.

[14] C. L. Guo, and L. M. Zhang, “A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression,” IEEE Transactions on Image Processing, vol. 19, no. 1, Jan.2010.

[15] J. Harel, C. Koch, and P. Perona, “Graph-based visual saliency,” NIPS, 2006.

[16] D.G. Lowe, “Distinctive image features from scale-invariant keypoints,” International Journal of Computer Vision, 60,2, pp. 91-110, 2004.

[17] W. S. Hwang and J. Y. Weng, “Hierachical discriminant regression,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, No.11, pp. 1277–1293, Nov. 2000.

[18] Alizeza Khotanzad and Yaw Hua Hong, “Invariant image recognition by Zernike Moments,” IEEE Transactions om Pattern Analysis and Machine Intelligence, vol 12, no.5, pp. 489-497, 1990

[19] B.W. Tatler, R.J. Baddeley, Gilchrist, I.D.: Visual Correlates of Fixation Selection: Effects of Scale and Time. Vision Research 45, 643-659 (2005)。