CN102096824A

CN102096824A - 基于选择性视觉注意机制的多光谱图像舰船检测方法

Info

Publication number: CN102096824A
Application number: CN2011100400195A
Authority: CN
Inventors: 丁正虎; 余映; 王斌; 张立明
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2011-02-18
Filing date: 2011-02-18
Publication date: 2011-06-15
Anticipated expiration: 2031-02-18
Also published as: CN102096824B

Abstract

本发明属于遥感图像目标检测技术领域，具体为一种基于选择性视觉注意机制的多光谱遥感图像舰船目标快速检测的方法。本发明将多维数据构建成双四元数的形式，利用其傅里叶变换的相位谱来提取显著性区域，用于显著目标检测，实现了多维数据的整体处理，并充分利用了光谱域和空间域的信息。本发明能有效克服传统多光谱图像舰船检测方法计算复杂度高，参数设置复杂的缺点。模拟数据与真实多光谱遥感数据的实验结果表明，本发明具有良好的检测效果，同时对噪声具有较强的鲁棒性。在海洋渔业，海洋运输管制，海上军事监测等方面有着巨大的应用价值。

Description

基于选择性视觉注意机制的多光谱图像舰船检测方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于选择性视觉注意机制的多光谱遥感图像舰船目标快速检测的方法。

背景技术

多光谱成像传感器在光谱维能获取各个波段对应物质的光谱信息，同时在空间维获取场景的空间信息，形成包含丰富信息的多维数据体。因此多光谱图像数据在目标检测中有着独特的优势，在海上舰船检测在海洋渔业，海洋运输，军事监测等方面更有着重要意义。

常用的多光谱目标检测方法通常是基于光谱信息的统计性检测方法^[1-3]，即通过假设测量值是由背景、目标和噪声构成，利用统计的方法分别构造背景和目标的模型，再利用假设检验得到判别目标的检测结果，其中的具有代表性的方法就是Reed等提出的多通道恒虚警率（constant false alarm rate，CFAR）方法^[1]。Reed的多通道CFAR方法建立在空间白化和高斯分布的假设的基础上，利用广义似然比检验进行目标检测。而在实际应用中，像素间空间不相关的假设往往是不合理的，并且也很难通过预白化处理得到理想的空间白化数据。此外，在求取虚警概率函数的过程中，需要对样本协方差矩阵进行求逆，而由于多光谱图像的谱间相关性，在对其求逆时容易出现较大误差。

更进一步，为了对目标的存在性做出判断, 传统方法往往需要对所有图像区域进行验证, 但实际上所关心的内容通常仅占图像中很小一部分。这种全面的加工既造成了计算浪费, 又加重了分析难度。

然而，人类在面对复杂场景时，能迅速将自己的注意力聚焦在一些显著的目标上，从而对这些目标进行优先处理，这里面存在一个视觉选择性注意的机制。这种资源优化配置的机制使得人脑视觉皮层能在有限的神经资源下很好地处理摄入的视觉信息。显然，将该机制引入到遥感图像目标检测中是很有必要的。

视觉注意可分为两种形式，即不受意识支配，数据驱动的自底向上的形式^[4, 5]和与先验知识相关，受主观引导的基于任务的自顶向下的形式^[6, 7]。Itti和Koch等最早提出了一个自底向上的计算模型^[4]，他们在计算结构上模仿人脑形成视觉显著性的神经机制，并能够计算出对应场景图像的视觉显著图。显著图中各区域灰度级的大小表示在视觉场景中对应位置显著性的强弱。其后Walther在Itti的基础上提出了一种新的方法^[8]，然而这些计算模型运算量较大，参数设置过于复杂，无法很好地在工程应用中得以实现。

近来，基于频域的视觉显著性计算方法较好地克服了以上缺点，如Hou等的残谱法^[9], Guo等的傅里叶变换相位谱法^[10, 11]，Yu等的脉冲余弦变换法^[12]和Guo等的四元数的傅里叶变换相位谱法（phase spectrum of biquaternion Fourier transform，PQFT）^[13]，在他们的论文中，用大量的心理实验和自然图像库的实验证明了频域视觉显著性计算方法不仅能优于Itti, wather 等人提出的空间域模型，而且，这些视觉注意的频域模型能迅速有效地实现显著性检测，且对参数的依赖较小，更适用于工程应用。特别是用四元数综合表达图像的色彩（红绿和蓝黄拮抗）和亮度特征（PQFT）^[13]，能同时处理多元的信息，比起多个单通道处理有更好的性质, 然而，PQFT只适用于处理用红绿和蓝黄拮抗表达的彩色图像等的显著性检测。对于多光谱的遥感图像, 光谱的数目往往是多于四个通道, 如何将PQFT 推广到高于四个通道的情况，并试图将选择性视觉注意机制引入到多光谱图像的船只目标检测问题中，则是本发明主要想解决的问题。

发明内容

本发明的目的在于提供一种计算复杂度低、参数设置简单、精确而有效的多光谱遥感图像舰船检测方法。

本发明提出的多光谱遥感图像舰船目标检测方法，是基于选择性视觉注意机制的方法，该方法将多光谱图像数据构建成双四元数的形式进行整体处理，利用双四元数傅里叶变换的相位谱（phase spectrum of biquaternion Fourier transform, PBFT）来获取显著图并用于显著目标检测。与传统的多光谱目标检测方法相比，本发明不需要以对海面背景及目标的概率分布特性的一些理想化的假设作为建模的前提；作为一种自底向上的视觉注意方法，它不依赖于先验知识，也没有诸多复杂的参数设置。同时，由于双四元数的傅里叶变换存在快速实现算法^[14]，本发明中的模型能够快速计算出输入的多通道数据的视觉显著图，可满足实际应用中实时处理的要求。为多光谱遥感图像舰船目标检测提供了一种新的有效的快速算法。

先介绍有关双四元数的概念：

双四元数模型最早是由Hamilton 在1853 年提出的^[15]，其形式如下：

Figure 2011100400195100002DEST_PATH_IMAGE001

其中

，

Figure 2011100400195100002DEST_PATH_IMAGE003

表示复数集，

。若用符号

Figure 2011100400195100002DEST_PATH_IMAGE005

表示复数，则任意复数

可表示为：

Figure 2011100400195100002DEST_PATH_IMAGE007

。那么就可以将任意双四元数写成另一种形式：

双四元数的实部和虚部可分别表示为：

若

，则称q为纯双四元数。若q的模为1，则称其为单位双四元数。

本发明提供的多光谱遥感图像舰船检测方法，包括两部分：基于双四元数的视觉注意计算模型和基于视觉显著性的舰船目标检测，分别描述如下：

1. 基于双四元数的视觉注意计算模型

早在1996年，Kenneth就指出，图像的傅立叶变换的幅度谱对应着每个正弦成分的数值大小，而傅立叶变换的相位谱则指出了每个正弦成分在图像中的具体位置所在。当利用相位谱进行图像重构时，在竖直或水平方向上周期性小的部分及非平坦的部分将会在重构的图像中凸显出来，而这些区域往往就是我们所需要检测的显著性目标的位置。我们之前在视觉注意的频域计算模型上所做的工作^[10-13, 16]已表明，利用频域相位信息来计算图像的视觉显著性具有良好的实际效果并具有一定的生物合理性，且计算复杂度低。在本发明中，我们同样利用双四元数频域的相位谱的重构来完成多光谱图像的视觉显著性的获取。

首先，将八维数据构造成一幅双四元数图像，即一个图像矩阵中的每个元素都是一个双四元数，然后计算其双四元数傅立叶变换的相位谱并完成重构。其具体流程如下：1、建立多光谱数据的双四元数模型；2、进行快速双四元数傅立叶变换；3对相位谱进行傅立叶反变换；4、对双四元数取模得到输出图像；5、进行两维高斯滤波得到显著图。具体描述如下：

通过一个线性变换，我们将快速双四元数傅里叶变换分解为四个普通的复数两维傅立叶变换。

对于如下的双四元数形式的信号f (t)：

Figure 2011100400195100002DEST_PATH_IMAGE011

(1)

通过一个线性变换，将基

变换为复正交基

Figure 2011100400195100002DEST_PATH_IMAGE013

，其中

Figure 2011100400195100002DEST_PATH_IMAGE015

，

，，都是纯双四元数。

在新的复正交基系统中，f (t)描述为：

Figure 2011100400195100002DEST_PATH_IMAGE019

(2)

当处理两维图像数据时，则用f (n,m)来表示 f (t)。最终，可得双四元数快速傅立叶变换的公式如下：

(3)。

其中，

Figure 2011100400195100002DEST_PATH_IMAGE021

和

分别为每个像素点在时域和频域的位置。而

和则是图像的长和宽。之后还需要进行一个线性反变换，将正交基

变换到原来的基。

用等式(3)计算双四元数图像f (n,m)的傅立叶变换结果，记为F[u,v]，而F[u,v]可写成如下的极坐标形式：

Figure 2011100400195100002DEST_PATH_IMAGE025

(4)。

其中Ф[u,v]是F[u,v]的相位谱，而μ ₁是一个单位纯双四元数。

令

，则F[u,v]中仅包含了相位谱信息，然后计算F[u,v]的傅立叶反变换，其结果记为。

所需的显著图由等式(5)计算得到，即：

(5)。

其中，G为一个两维高斯低通滤波器(

Figure 2011100400195100002DEST_PATH_IMAGE029

)。最后并将显著图的灰度值归一化到[0, 1]区间，以便于后面的目标检测。

基于视觉显著性的多光谱图像舰船检测

Landsat 7多光谱图像包含7个光谱波段和一个全色波段，我们舍弃热红外波段（波段6）以及全色波段，利用剩下的6个波段构建一个纯双四元数，然后利用前面所描述的视觉注意模型计算得到显著图。

然后就需要确定一个合理的阈值将舰船目标与背景区分开来。显然，对于不同的多光谱数据，该阈值是变化的。这就需要根据得到的显著图的灰度分布的统计特性，计算得到一个自适应的阈值，该阈值需要在满足可接受的虚警率下，尽可能提高目标像素的检测精确度。计算阈值的一个简单而有效的公式如下：

(6)。

其中

Figure 2011100400195100002DEST_PATH_IMAGE031

是显著图的灰度均值，而

是显著图的灰度标准差，c是从多组不同多光谱数据检测实验中获得的一个经验值，一般取6—12之间。通常，对于从多光谱数据中得到的灰度值已经归一到[0, 1]区间的显著图，目标像素只占像素总数目较小一部分，而绝大部分都是背景像素，若里面存在显著目标，则整幅显著图的背景区域较暗，其灰度方差往往很小；若里面不存在显著目标，其方差则很大。因此，选择一个合适c就可使得在没有船只时，计算所得的阈值会变得较大，从而避免了虚警。本发明的实验中，取c=6。确定阈值后，最终的舰船目标检测结果为：

(7)。

最后，将本发明中的基于视觉显著性的多光谱图像舰船检测的算法流程归结如下：

步骤1. 根据公式(1)，将Landsat多光谱图像的6个常用波段（舍弃热红外波段和全色波段）构建成一幅纯双四元数图像f (m, n)；

步骤2. 利用公式(3)，计算f (m, n)的双四元数傅里叶变换，结果记为

，将

Figure 2011100400195100002DEST_PATH_IMAGE035

的幅度谱白化，得到

；

步骤3. 计算

Figure 2011100400195100002DEST_PATH_IMAGE037

的双四元数傅里叶反变换，得到时域的重构

；

步骤4. 计算

的模，再根据公式（5），用两维高斯低通滤波器滤除高频噪点，得到显著图；

步骤5. 根据等式(6)，计算得到划分阈值，并通过等式(7)，将显著图转化为二值化的检测结果。

本发明的优点

本发明为一种新的基于选择性视觉注意机制的多光谱遥感图像舰船目标检测方法。该方法将多光谱图像数据构建成双四元数的形式进行整体处理，利用双四元数傅里叶变换的相位谱（phase spectrum of biquaternion Fourier transform, PBFT）来获取显著图并用于显著目标检测。与传统的多光谱目标检测方法相比，它不需要以对海面背景及目标的概率分布特性的一些理想化的假设作为建模的前提；作为一种自底向上的视觉注意方法，它不依赖于先验知识，也没有诸多复杂的参数设置。同时，由于双四元数的傅里叶变换存在快速实现算法^[14]，本发明中的模型能够快速计算出输入的多通道数据的视觉显著图，可满足实际应用中实时处理的要求。仿真实验结果表明，所提出的算法对白噪声具有良好的鲁棒性；进一步地的真实数据实验表明，本算法对复杂海上背景的干扰具有良好的抵抗性。与传统方法相比，其检测精确度和虚警率性能都非常理想，证实了算法的有效性和对于各种不同数据的适用性。

附图说明

图1 多光谱遥感图像模拟数据。其中，(a)-(f) 模拟数据的六个波段, (g) 地面真实。

图2 检测结果。其中，(a) PBFT显著图, (b) PBFT检测结果, (c) CFAR的检测结果。

图3 检测精确度随信噪比的变化曲线。

图4 不同噪声强度下的ROC曲线对比. (a)-(b) 信噪比分别为10dB，15dB 下的ROC曲线。

图5 2008年4月拍摄的中国东海部分区域的真实Landsat7遥感数据。其中， (a)-(f).Landsat7的6个波段。

图6 检测结果。其中，(a) PBFT显著图, (b) PBFT检测结果, (c) CFAR的检测结果。

图7 2000年6月拍摄的中国东海部分区域的真实Landsat7遥感数据。其中，(a)-(f) Landsat7的6个波段。

图8 检测结果。其中，(a) PBFT显著图, (b) PBFT检测结果, (c) CFAR的检测结果。

具体实施方式

下面，分别用模拟数据和实际遥感图像数据为例说明具体的实施方式。

模拟多光谱遥感数据

为更好地模拟真实情况，这里的模拟数据是从真实Landsat7遥感数据中截取海面部分作为背景，依据不同波段的反射特性不同，将不同颜色的舰船目标加入到每个波段中，舰船目标的形状模型也是依照真实数据设计。最终得到的6个波段的模拟数据如图1所示，其中每个波段的灰度对比度都进行了调整以便于肉眼观察。图像的大小为256×256，实际地面分辨率为30m。

实验例1. 检测精确度与虚警率的性能测试。

图2中，(a)和(b)分别给出了利用PBFT方法得到的显著图以及检测结果。为便于对比，图2(c)给出了Reed等提出的多波段CFAR方法^[1]的检测结果。在CFAR方法中使用的参数为：J=6, N=64, P _FA =10^–5（使用6个波段，每个波段被分割成64个子图，预设虚警率为10^–5）。CFAR方法中的这组参数是经过调试后检测效果最佳的一组参数。两种方法检测效果对比的量化分析如表1所示。其中，虚警率表示背景中被误认为是舰船目标的像素数目与所有背景像素数目的比值，而检测精确度则表示被正确检测出来的舰船目标像素数目与所有舰船目标像素数目的比值。

表 1. 基于模拟数据的两种方法的检测性能对比

方法	虚警率	检测精确度	运算时间
				PBFT	0.006%	98.95%	0.44s
CFAR	0.092%	87.37%	2.20s

从表1可见，PBFT的运算速度快了很多，这是因为PBFT的主要运算时间都耗在了四元数的傅立叶正反快速变换上，而该快速变换可分解为四个普通的复数两维傅立叶变换FFT加上一个简单的线性的正反变换。线性变换的时间非常小基本可以忽略，而FFT的计算复杂度又相对较低，对于大小为

Figure 2011100400195100002DEST_PATH_IMAGE039

的图像，其计算复杂度为

。因此，四元数的傅立叶快速变换其实耗时很小。相比而言，CFAR方法的整体计算复杂度则为

Figure 2011100400195100002DEST_PATH_IMAGE041

，显然高于本发明的算法。

实验例2. 抗噪声干扰的性能测试。

本发明中的算法对白噪声具有较强的抵制能力，为验证该性能，我们在模拟数据的每个波段中人为加入不同强度的高斯白噪声，分析其对检测性能的影响。具体的检测精确度的变化曲线如图3所示。

实验例3. ROC曲线性能测试。

近年来，接受者操作特性（receiver operating characteristic，ROC）曲线被广泛用于评价显著图对人眼注视区域所在的预测能力^[17, 18]。本发明中同样利用ROC曲线来对PBFT方法获得显著图进行一定的性能评估。通常人们采用自然图像的数据库来获得测试人的注视轨迹数据，而本实验由于针对的是多光谱数据的显著性检测，因此并未采用自然图像的数据库来获得人眼注视点数据，而是直接采用多光谱遥感模拟数据中的地面真实作为替代。

给定某一阈值T，视觉显著图可划分为目标区域和背景区域。根据人眼注视点数据，每张图像划分为注视点和非注视点。落在目标区域的注视点称为正确的点，落在目标区域的非注视点称为虚警的点。所有注视点中正确的点所占比率称为正确率（True Positive Rate，TPR），在所有非注视点中虚警的点所占比率称为虚警率（False Positive Rate，FPR）。实际上，FPR和TPR就是表1中所描述的虚警率和检测精确度。通过连续改变阈值T，在两维坐标系上可得到不同的坐标点（TPR，FPR），将所有坐标点连接起来所得的曲线就称为ROC曲线。若以横轴FPR为自变量，对ROC曲线进行积分，则可得到ROC曲线下的面积，该面积越大则表示显著图对人眼注视点的预测能力越强。我们在模拟数据中加入了强度不同的高斯白噪声，检验PBFT方法在不同信噪比下的ROC曲线性能变化。为了对比，文中同样给出了CFAR方法的ROC曲线特性，具体如图4所示。显然，PBFT的ROC曲线特性要优于CFAR。

真实多光谱遥感数据

本实验采用的数据为中国东海部分区域的Landsat 7 ETM+多光谱遥感图像，采用的6个波段的地面分辨率为30m，每个波段的子图大小为256

256。图5所示的是一组2008年4月拍摄的数据，分别用PBFT和CFAR方法进行舰船目标检测，结果如图6所示。在CFAR方法中使用的参数为：J=6, N=64, P _FA =10^–5。

如图6所示，由于反射特性的不同，同一波段中的不同船只的灰度值变化非常大，有些船只比其周围背景亮，而有些比它的背景暗。此外，由于光照条件拍摄入射角等的不同，造成了同一船只的不同位置的像素的灰度值也不同。这些都给检测带来了很大困难，对于单一阈值的CFAR方法的影响尤为明显。如图6(c)所示，CFAR检测结果中丢失了一个非常明显的船只（图中已用箭头指出），而且还有部分船只的大部分像素已经丢失，基本只剩下一些孤立的像素点。然而， PBFT方法却能在很小的虚警率下，将各个目标有效地检测出来。这是因为PBFT方法并不在乎这些舰船目标是比其附近的背景亮还是暗，只要它们与其背景的亮度反差足够大，能形成足够的视觉显著性，就能在结果中很好地凸显出来。

此外，还考察了PBFT对于较复杂海面背景下的舰船目标的检测效果。图7所示的是一组2000年6月拍摄的数据，其检测结果如图8所示。从图8中可以看出，海面背景比较复杂，非常不均匀。明显的海浪，洋流和舰船尾迹等使得人们很难对海杂波的统计分布特性进行较精确的建模，从而使得CFAR的检测效果比较差。而PBFT方法是基于视觉显著性机制的，不需要对海杂波等进行建模，也不需要各种理想化的假设为前提，对于复杂背景有良好的自适应能力。

参考文献：

[1] Reed I S, Yu Xiaoli. Adaptive multiband CFAR detection of an optical pattern with unknown spectral distribution [J]. IEEE Transactions on Acoustics, Speech and Signal Processing, 1990, 38(10): 1760–1770

[2] Yu Xiaoli, Reed I S, Stocker A D. Comparative performance analysis of adaptive multispectral detectors, IEEE Transactions on Signal Processing [J]. 1993, 41(8): 2639–2656

[3] Yu Xiaoli, Hoff L E, Reed I S, et al.Automatic target detection and recognition in multiband imagery: a unified ML detection and estimation approach [J]. IEEE Trans. Image Processing, 1997, 6(1)：143–156

[4] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis, IEEE Trans. Pattern Analysis and Machine Intelligence [J]. 1998, 20(11):1254–1259

[5] Treisman A M, Gelade G. A feature-integration theory of attention [J]. Cognitive Psychology, 1980, 12(1): 97–136

[6] E. Niebur, C. Koch. The Attentive Brain [M]. Cambridge: The MIT Press, 2000:163–186

[7] Wolfe J M, Butcher S J, Lee C, et al. Changing your mind: on the contributions of top–down and bottom–up guidance in visual search for feature singletons [J]. Journal of Experimental Psychology: Human Perception and Performance, 2003, 29 (2):483–502

[8] Walther D, Koch C. Modeling attention to salient proto-objects [J]. Neural Networks, 2006, 19(9): 1395–1407

[9] Hou Xiaodi, Zhang Liqing, Saliency detection: a spectral residual approach [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D C: IEEE Computer Society Press, 2007:1-8

[10] Guo Chenlei, Ma Qi, Zhang Liming. Spatio-temporal saliency detection using phase spectrum of quaternion Fourier Transform [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Washington D C: IEEE Computer Society Press, 2008:1-8

[11] Ma Qi, Zhang Liming, A fast computation of attention selection map and its application in image quality Assessment [J]. Journal of Computer-Aided Design & Computer Graphics, 2009，21(7)：973–983(in Chinese)

(马奇，张立明，快速注意力选择计算及其在图像质量评价中的应用，计算机辅助设计与图形学学报 [J]，2009, 21(7): 973–983)

[12] Yu Ying, Wang Bin, Zhang Liming. Pulse discrete cosine transform for saliency-based visual attention [C]//Proceedings of IEEE International Conference on Development and Learning. Washington D C: IEEE Computer Society Press, 2009:1-6

[13] Guo Chenlei, Zhang Liming. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression [J]. IEEE Transactions on Image Processing, 2010, 19(1): 185–198

[14] Said S, Bihan N L, Sangwine S J. Fast complexified quaternion Fourier transform [J]. IEEE Transactions on Signal Processing, 2008, 56 (4): 1522–1531

[15] Hamilton W R. On the geometrical interpretation of some results obtained by calculation with biquaternions[C]// Proceedings of the Royal Irish Academy, 1853:388–390

[16] Bian Peng, Zhang Liming. Visual saliency: a biologically plausible contourlet-like frequency domain approach [J]. Cognitive Neurodynamics, 2010, 4 (3): 189–191

[17] Bruce N D B, Tsotsos J K. Saliency, attention, and visual search: an information theoretic approach [J]. Journal of Vision, 2009, 9(3), Article 5: 1–24

[18] Gao D, Mahadevan V, Vasconcelos N. On the plausibility of the discriminant center-surround hypothesis for visual saliency [J]. Journal of Vision, 2008, 8(7), Article 13: 1–18.。