CN103729848B - 基于光谱显著性的高光谱遥感图像小目标检测方法 - Google Patents
基于光谱显著性的高光谱遥感图像小目标检测方法 Download PDFInfo
- Publication number
- CN103729848B CN103729848B CN201310744004.6A CN201310744004A CN103729848B CN 103729848 B CN103729848 B CN 103729848B CN 201310744004 A CN201310744004 A CN 201310744004A CN 103729848 B CN103729848 B CN 103729848B
- Authority
- CN
- China
- Prior art keywords
- image
- spectrum
- pixel
- notable
- significance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
基于光谱显著性的高光谱遥感图像小目标检测方法属于高光谱遥感图像领域。本发明在进行目标检测时利用从高光谱图像中提取的光谱信息和空间信息,采用改进的Itti模型计算局部显著度,构造局部显著图;然后利用改进的进化规划方法,计算全局显著度,创建全局显著图;最后将全局显著图和局部显著图进行归一化合并得到总的视觉显著图,作为最终的目标检测结果。本发明根据光谱显著性建立适用于高光谱图像的显著性模型,对高光谱图像光谱特征和空间特征进行综合分析的基础上,实现图像感兴趣目标检测,这种方法能在没有先验信息的条件下检测与周围背景存在差异的目标,突出了图像的主要内容,降低了图像处理分析的复杂度。
Description
技术领域
本发明以高光谱遥感图像为研究对象,在对高光谱遥感图像的光谱特征及空间特征进行综合分析的基础上,建立高光谱图像的显著性模型,生成光谱显著图;在显著图的基础上自动提取显著目标,实现高光谱图像的小目标检测,为高光谱图像目标识别、分类与检索奠定基础。
背景技术
高光谱遥感(Hyperspectral Remote Sensing)是20世纪80年代发展起来新型对地观测技术,地物以其固有的特性反射、吸收和辐射电磁波,高光谱遥感通过接收、记录电磁波与不同物体相互作用后的高光谱分辨率的辐射信号,实现对地表信息的获取。由于高光谱图像的高空间相关性和高光谱分辨率等特性,使其具有较高的利用价值,已成为精细农业、大气观测、环境监测、自然灾害研究、资源调查等领域的重要数据源。
随着高光谱遥感硬件以及软件技术的发展,硬件技术远远超前于遥感数据的处理技术,面对如此海量的光谱遥感信息,如何充分有效的处理并进一步利用遥感数据是遥感技术领域亟待解决的问题。
高光谱数据处理的一个主要内容就是目标检测,通过判定高光谱图像中不同空间位置是否存在目标,可以为大范围地面信息的获取提供重要途径,有着重要的军事意义和民用价值。高光谱图像包含了观测场景中目标的空间信息和光谱信息,目标检测时不仅可以利用目标空间信息,还可利用光谱信息。光谱特征展现的是不同化学成分物质的固有特性,每一个像元对应一条确定的光谱,这一光谱反应了该像元对电磁波辐射和反射特性。物体的光谱反射率随波长变化的曲线称为光谱反射率曲线,其形状反映了地物的反射光谱特性。通过对目标光谱特征分析,可以根据目标的光谱特征鉴别出目标的类别,利用目标光谱和背景光谱的差异来提取和识别目标,实现复杂环境下和杂乱背景中低空间分辨率的小目标和低对比度目标的检测。
传统的高光谱遥感目标检测主要是依据目标与地物在光谱特征上存在的差异进行检测识别。通常目标检测需要一定的先验信息(如地面真实测量结果和光谱数据库),而实际应用中获取这种先验信息是很困难的,从而影响了目标的有效检测。
基于光谱显著性的高光谱遥感图像目标检测方法,通过引入“光谱显著性(spectral saliency)”概念,根据光谱显著性建立适用于高光谱图像的显著性模型,对高光谱图像光谱特征和空间特征进行综合分析的基础上,实现高光谱遥感图像感兴趣目标检测,这种方法能在没有先验信息的条件下检测与周围背景存在差异的目标,突出了图像的主要内容,降低了图像处理分析的复杂度,为高光谱遥感图像目标识别、图像分类与检索奠定基础。
发明内容
本发明与已有高光谱遥感图像目标检测方法不同,通过引入“光谱显著性(spectral saliency)”概念,将“显著性”定义为更广泛的概念而不局限于单一的视觉注意范畴。在这里,显著性不仅限于视觉概念,而是度量内容信息量大小的一种方法。本发明利用了光谱反射率(任何物体的反射光谱都蕴含着自身的本质信息,如物体的类别、组成、结构、电学性质及表面特征(粗糙度、质地)等)而不是颜色、亮度等视觉信息定义“光谱显著性”,即在一定程度上突出于背景图像的某一组像元。不需要背景或目标的先验光谱信息,充分利用高光谱图像丰富的光谱和空间信息,建立适用于高光谱图像的显著性模型,能够在复杂的图像中快速定位感兴趣目标,实现高光谱遥感图像的目标检测。主要包括以下几个步骤:图像预处理、局部显著度图生成、全局显著度图生成、显著图融合和显著目标检测。流程如附图1所示。
由于颜色特征或颜色布局特征(如全局统计特征如直方图等)对于高光谱遥感图像而言缺乏足够的内容表达能力,因此传统的视觉注意模型(如Itti模型)不适用于高光谱遥感图像。受到Itti模型的启发,本发明在进行目标检测时利用从高光谱图像中提取的光谱信息和空间信息,采用改进的Itti模型计算局部显著度,构造局部显著图;然后利用改进的进化规划方法,计算全局显著度,创建全局显著图;最后将全局显著图和局部显著图进行归一化合并得到总的显著图,在显著图的基础上自动提取显著目标作为最终的目标检测结果。
1.图像预处理
考虑到本发明的可扩展性和可延续性,便于高光谱图像检索工作的后续研发,本发明首先基于不重叠区域对高光谱遥感图像进行数据分块。
一幅完整的高光谱遥感图像中,目标影像常常是空间无缝、包含多个复杂目标的大幅面影像,而在检索过程中,查询影像则一般仅包含一种或少数几种目标并且尺寸较小,在查询影像和整幅目标影像之间做相似性匹配是没有意义的,基于内容的遥感图像检索实际上是查询影像和目标影像局部区域之间的相似性匹配。合理有效地分块组织遥感影像数据,对于高光谱遥感图像目标检测、创建遥感影像基于同质纹理特征区域的特征库、提高检索精度十分必要。
本发明采用Tile分块方式对高光谱遥感图像进行预处理。Tile分块的思想是将遥感影像库的目标影像从左至右、从上至下分成规则、不重叠且大小相等的子图像块(例如256×256、128×128、64×64等),分块后子图像将作为目标检测的对象。如附图2所示,给出了一个Tile分块示意图,原始遥感影像被分成规则的4×4=16块。由示意图可见,这种数据分块组织方式非常直观,而且便于采用成熟的数据库管理系统(如Microsoft SQL Sever)管理分块遥感影像数据。
这种基于不重叠区域的图像分块方式的优点是简单、直观、容易理解和实现,而且通过基于Tile分块建立的纹理特征库中,纹理特征向量与分块产生的遥感影像子区域一一对应。便于实现特征索引,有利于后续工作的进行。
2.基于光谱显著性的高光谱显著图提取
在过去几十年,人们充分研究了彩色图像的显著性,而对不能直接显示在传统计算机屏幕上的光谱图像的显著性,很少有人对其进行研究。本发明受到已有视觉注意模型的启发,从高光谱图像的特点出发,对现有视觉注意模型进行改进,综合高光谱图像的光谱和空间信息,提出一种新型高光谱图像显著图计算方法。分别生成局部显著图和全局显著图,最终融合成综合显著图,提取显著目标。
1)局部显著图的生成
本发明充分利用高光谱数据光谱特征和空间特征对高光谱遥感图像进行分析,并行构建局部显著图的光谱通道和方向通道。
构建光谱通道时,首先对Tile分块后的高光谱图像进行光谱分割,将其分割成分别对应蓝、绿、红波段范围的3个子图像。对这3个子图像构造高斯金字塔(加上原图像共9层),包括高斯滤波和空间子采样两个步骤。对高斯滤波后图像进行下采样产生8个层次的子图像,每一层图像的水平像元和垂直像元个数均是上一层的一半。通过这两个步骤共获得3个不同波段的9个空间尺度的子图像集。
构建方向通道时,首先对Tile分块后的高光谱图像采用最小噪声分离(MinimumNoise Fraction,MNF)变换进行数据降维,将图像中重要特征集中到少数主成分中。由于MNF变换后的前3个波段的特征影像能够反映高光谱图像的大部分信息,因此本发明将MNF变换后前3个波段的图像进行融合,分别在四个方向(0°,45°,90°和135°)对融合后的图像进行Gabor滤波,然后对Gabor滤波后图像进行高斯滤波和空间子采样。在4个方向分别获得9层高斯金字塔。
然后生成特征图。在特征图生成时,引入中央-周边差(Center-surround)算子Θ。中央周边差算子是通过将高斯金字塔中不同层次的图像做差分操作而实现的。对于高斯金字塔中的9层,基图像(第0层图像)为输入的原始图像,中央层次定义为第2、3、4层用c表示,每1个中央层对应2个周边层,用s表示,周边层数等于对应的中央层数加上3和4。通过中央周边差计算得到不同层之间的光谱角度匹配(spectral angle mapper,SAM)特征图和谱范数差(spectral norm difference,SND)特征图以及方向特征图。
将上述三种特征图进行归一化和跨尺度融合形成特征关注图,最后将特征关注图进行归一化合并和线性组合得到局部显著图。整个计算过程如附图3所示。
2)全局显著图的生成
本发明利用改进的进化规划(Evolutionary Programming,EP)方法计算全局显著度,创建全局显著度图。进化规划是一种区域检测方法,它是通过模拟自然进化过程而得到最优解的一种随机的进化方法,目的是将图像中感兴趣的目标区域从背景中提取出来。它从全局信息分析,在没有任何先验知识的情况下能直接注意到不寻常的事物,有效的避免陷入局部最优。
(1)主成分分析合成真彩色图像
考虑到要尽可能保留图像中的纹理信息,本发明利用主成分分析(PrincipleComponent Analysis,PCA)对Tile分块后的高光谱数据进行降维处理,经过主成分分析变换后,前3个主成分几乎包含了原始高光谱数据的大部分信息,而后面的主成分则包含了较少的信息,主成分的级别越低,包含的信息越少。故而,可选择主成分分析变换后的前3个主成分,合成真彩色图像。
(2)改进的基于进化规划的全局显著度图
对合成的真彩色图像进行下采样。然后计算采样后图像中每个像素位置的特征与其它像素位置的特征不相似的个数。具体过程如下:将采样后的图像视作矩形网格状的像素集合,选择任意一个像素点,取其周围7×7的邻域作为一个像素区域。在一个像素区域中随机挑选7个像素构成一种特征(本发明将7个像素的RGB值构成该特征),依次比较其他像素区域与这种特征的差异,相同为“0”,不同为“1”,差异的累积之和表示每个像素与其它像素的差别的大小,也表示该像素及其邻域在整幅图像中出现频率的多少。该值越大,表示该像素及其邻域的显著性越高。任意选择下一个像素点(不同于上一次选择的像素点)与该像素点周围的7×7的邻域作为像素区域,与其他像素区域进行比较,直到遍历整幅图像的所有像素点。
图像中每个像素位置(x,y)处的特征与其它像素位置的特征不相似的数目个数S'g(x,y),即为像素点(x,y)的显著度,表示如下:
其中,H为采样后图像的高,W为采样后图像的宽,(H×W)表示图像的像素个数,(x,y)表示像素点的坐标位置,mi表示像素(x,y)的像素区域与其他像素区域的特征差异,相似为“1”,否则为“0”,i∈[0,H×W-1]即整幅图像中可取的像素点的个数,公式如下:
然后计算全局显著度。通过上步计算得到所有像素点的显著度后,利用下式计算每个像素点位置处的全局显著度Sg(x,y)为:
其中,S'g-min为通过S'g(x,y)计算得出的所有值中的最小值,S'g-max为通过S'g(x,y)计算得出的所有值中的最大值。由每个像素点位置处的全局显著度得到全局显著图Sg。
2.3归一化融合
将局部显著图记为Sl,将全局显著图记为Sg,对二者进行归一化合并即可得到总的视觉显著图S,N(·)为归一化因子,计算公式如下:
最后将全局显著图和局部显著图进行归一化合并得到总的视觉显著图,作为最终目标检测的结果。
本发明的特点
本发明以高光谱遥感图像为研究对象,建立高光谱遥感图像的光谱显著性模型,充分利用高光谱图像特有的光谱和空间信息,分析高光谱显著性构建光谱显著图。首先对原始高光谱图像进行规则分块,然后分别根据光谱显著性计算高光谱图像的局部显著图,不需要背景或目标的先验光谱信息,提高了目标区域预测的准确度,降低了处理整幅图像所需要的庞大的计算量;根据改进的进化规划方法计算全局显著图,有效的避免了陷入局部最优;最终融合成综合显著图,自动提取显著目标,实现高光谱图像的小目标检测,有效提高了高光谱遥感图像目标检测的准确度。
附图说明:
图1显著目标检测流程图
图2 Tile分块示意图
图3基于改进的视觉注意模型的局部显著图构建流程图
图4高光谱遥感图像的Tile分块结果
图5 MNF降维结果:(a)原始高光谱图像;(b)MNF第1波段;(c)MNF第2波段;(d)MNF第3波段
图6基于进化规划的全局显著图构建
具体实施方式
根据上述描述,以下是一个具体的实施流程,但本专利所保护的范围并不限于该实施流程。下面是本发明具体的工作流程:首先,将高光谱遥感数据分割成便于建立特征索引的数据块。受到Itti模型的启发,提出“光谱显著性”概念,充分利用高光谱图像特有的光谱信息计算高光谱图像的局部显著图,并根据改进的进化规划方法计算全局显著图,将局部显著图和全局显著图进行归一化融合,最终生成综合显著图,根据最终显著图自动提取显著区域,实现高光谱图像的目标检测。
1.图像预处理
为了便于高光谱图像检索工作的后续研发,本发明首先基于不重叠区域对高光谱遥感图像进行数据分块。
采用Tile分块方式对高光谱遥感图像进分块处理。将高光谱遥感数据从左至右、从上至下分成规则、不重叠且大小相等的子图像块。Tile分块的索引方式如下:如果用(row,col)表示某子图像块在原始影像中的行、列号,TileWidth和TileHeight表示子图像块的尺寸,则该子图像块左上角和右下角的坐标(xmin,ymin)和(xmax,ymax)可以通过下式计算得到。
如附图4所示,通过一幅从AVIRIS高光谱遥感数据库下载的大小为512×512像元的真彩色影像说明Tile分块效果,Tile大小为8×8。可见,这种数据分块组织方式非常简单、直观、容易理解,而且便于小目标的检测和采用数据库管理系统管理分块遥感影像数据。
2.基于光谱显著性的高光谱显著图提取
视觉注意模型主要是寻找图像中最能引起人眼注意的显著部分,并用一幅灰度图像表示其显著部分的显著度,图中越亮的地方即灰度值越大的区域越能引起人的注意。然而,传统的视觉注意模型并不适用于具有较高光谱维度的高光谱数据。本发明依据已有的视觉注意模型,从高光谱图像的特点出发,根据“光谱显著性”概念,充分利用高光谱图像特有的光谱、空间特征信息,对现有视觉注意模型进行改进,提出一种新型高光谱图像显著图计算方法。分别生成局部显著图和全局显著图,最终融合成综合显著图,提取显著目标。
2.1局部显著图
本发明充分利用高光谱数据想光谱特征和空间特征对高光谱遥感图像进行分析。构建光谱通道时,不对光谱进行降维,因而保留了全部的光谱信息。构建方向通道时,首先对图像进行降维处理,大大减少了计算量。
2.1.1光谱特征图
构建光谱特征图时,为了方便计算,首先对高光谱图像进行光谱分割,只保留可见光(400-700nm)范围的光谱,将其分割成分别对应蓝、绿、红波段范围的3个子图像。然后对光谱分割后的子图像进行高斯滤波和空间子采样。使用高斯滤波器能够实现对图像的低通滤波,降低图像噪声,然后对滤波后图像进行下采样产生8个层次的子图像,每一层图像的水平像元和垂直像元个数均是上一层的一半。通过这两个步骤共产生包括原始图像在内的9层高斯金字塔结构,最终获得3个不同波段子图像的9层高斯金字塔。
光谱显著性检测的关键思想是中央-周边差,即:某一像元或某一组像元与其周边像元存在某种程度的差异,那么这一像元或这一组像元就是显著的。通过相关比较度量引入光谱角度匹配(spectral angle mapper,SAM)和普范数差(spectral norm difference,SND)。光谱角度匹配是用来衡量两条光谱曲线形状之间的相似性,如下式所示,将每一像元N(400-700nm范围,即蓝、绿、红波段范围)个波段的光谱响应视为N维空间的矢量,s1,s2为光谱像元对,s1属于中央层c,s2属于周边层s:
其中,“·”表示点乘,|| ||表示求模运算。通过比较两个像元光谱之间广义夹角,表征其匹配程度:夹角越大,说明越不相似,显著性越高。两矢量广义夹角余弦为:
其中,SAM的显著特点是夹角值与光谱向量的模无关,也就是与光谱矢量的绝对长度无关,只比较光谱在形状上的相似性;且这一特征与像元亮度也无关。分别在蓝、绿、红三个波段范围获得6幅光谱角度匹配特征图。
普范数差是指两个光谱反射光数量的差:
SND(s1,s2)=abs(||s1||-||s2||) (8)
其中,abs表示绝对值;通过SND获得高反射率和低反射率物体之间的差异。分别在蓝、绿、红三个波段范围获得6幅普范数差特征图。
就不同特征,通过上述计算在不同尺度下获得每一像素与周围像素的差异,进而获得光谱特征图(即光谱角度匹配特征图和普范数差特征图)。
2.1.2方向特征图
高光谱数据在包含大量信息的同时,也给数据处理带来了困难。本发明首先对光谱数据采用最小噪声分离MNF对其进行先行降维。将图像中重要特征集中到少数主成分中,获得图像中信息量最大、能量集中的主成分。最小噪声分离变换被用于判定图像数据内在的维数、隔离数据中的噪声、降低随后处理计算的复杂度。该变换在达到降维目的的同时,有效地分离噪声。MNF变换后各个波段图像中包含了不同的信息量,第一波段集中了大量的信息,随着波段数的增加,图像质量逐渐下降。由于前3个MNF波段的图像已经能够反映高光谱图像的大部分信息,因此本发明将MNF变换后前3个波段的图像进行融合。
将最小噪声分离变换应用于AVIRIS高光谱遥感数据(波段数:224;光谱范围:380~2500nm),变换后的数据主成分数据图像如附图5所示。由结果可知通过最小噪声分离变换,前3个波段的图像能够反映高光谱图像的大部分信息。
经过最小噪声分离后,将包含了主要信息的前3个波段图像融合,分别在四个方向(0°,45°,90°和135°)对融合后的图像进行Gabor滤波。Gabor滤波器具有较好的方向选择性,能较完整地提取图像的全局信息,具有较强的抗干扰能力,并能适应一定的旋转、尺度、光照等变化。
对Gabor滤波后的4个方向图像依次进行高斯滤波和空间子采样,在4个方向分别获得9层高斯金字塔。然后通过计算中央层与周边层的局部方向对比得到方向特征图,即以中央层的图像利用中央-周边差算子Θ减去经过插值放大的周边层(放至中央层大小)。如下式所示:
O(c,s,θ)=|O(c,θ)ΘO(s,θ)| (9)
其中c表示中央层,c∈{2,3,4},s表示周边层s=c+a,a∈{3,4},θ为偏转方向,θ∈{0°,45°,90°,135°},即滤波器方向。O(c,θ)和O(s,θ)分别表示方向为θ的高斯金字塔中的第c层和第s层金字塔图像,上式表示将O(s,θ)放大到O(c,θ)的尺寸后,两图像对应像素相减,再取绝对值后,产生相应的方向特征图。在每一方向分别获得6个方向特征图。
2.1.3局部显著的图生成
将三种不同尺度的特征图经过归一化和跨尺度融合形成相应的特征关注图。首先对各个特征图进行归一化,归一化算子N(.)通过以下三个步骤进行计算:1)将每一张特征图的灰度范围归一化至某个特定范围[0,M],以消除不同特征模式下的幅度差异;2)找出每一张特征图的全局最大值M以及所有其他局部极大值的平均值3)将每一张特征图都乘以通过使用N(.)算子进行归一化,增强了显著峰(即某些点的显著值高于其邻域的显著值)较少的特征图,同时削弱存在大量显著峰的特征图,从而使得显著的区域得到突出,而均匀的非显著区域被忽略。然后将归一化后不同尺度的特征图利用跨尺度算子“⊕”进行相加融合,即,将不同尺度的特征图经过插值缩放至与高斯金字塔中的第4层图像像素一致,对应像素点逐点相加,融合为特征关注图。
每个波段(蓝、绿、红)范围分别有6个特征图,因此共有18幅光谱角度匹配(SAM)特征图和18幅普范数差(SND)特征图,按照以下公式分别叠加每一波段范围对应的6幅特征图进行SAM、SND特征关注图的计算:
上式表明:先分别求出不同尺度下的SAM和SND特征图,经过归一化得到N(SAM(s1,s2))和N(SND(s1,s2)),然后将不同尺度的特征图缩放至到第4层,逐像素点相加。表示:当c=2时,s=c+3即s=5;c的取值范围为[2,4],s的取值范围为[c+3,c+4]。
由于有4个方向金字塔,因此总共可产生24个方向特征图。按照以下公式分别叠加每一方向的6个方向特征图,形成4个方向的方向关注图,其中θ∈{0°,45°,90°,135°}:
上式表示:先分别求出每一方向不同尺度下的方向特征图,经过归一化得到N(O(c,s,θ)),然后将不同尺度的特征图缩放至到第4层,逐像素点相加,得到4个方向的特征关注图。
为了得到最终的显著图,需要对SAM特征关注图、SND特征关注图、方向特征关注图进行归一化处理,然后对各个特征进行平均,融合得到最终的局部显著图Sl,如公式所示:
2.2全局显著图生成
与以往的视觉显著区域检测不同,本发明同时采用局部显著图和全局显著图融合成为综合显著图,进而根据综合显著图对显著区域进行检测。本发明利用进化规划(Evolutionary Programming,EP)方法计算全局显著度,创建全局显著度图。进化规划是一种区域检测方法,它是通过模拟自然进化过程而得到最优解的一种随机的进化方法。它从全局信息分析,在没有任何先验知识的情况下能直接注意到不寻常的事物,有效的避免陷入局部最优。改进的基于进化规划的区域检测算法框图如附图6所示。
2.2.1主成分分析合成假彩色图像
首先利用主成分分析(Principle Component Analysis,PCA)对高光谱数据行降维处理,经过主成分分析变换后,前3个主成分几乎包含了原始高光谱数据的大部分信息,而后面的主成分则包含了较少的信息,主成分的级别越低,包含的信息越少。由于主成分分析降维能够保留清晰的纹理特征,故而,可选择主成分分析变换后的前3个主成分,合成真彩图像。
2.2.2基于进化规划的全局显著图
本发明采用将每个像素及其邻域结构与图像中其它所有的像素及其邻域结构进行对比,来表示全局显著性的方法。由于对所有的像素进行对比,增加了计算量,因此,我们首先对PCA变换后合成的真彩色图像进行下采样,然后计算图像中每个像素位置的特征与其它像素位置的特征不相似的个数,最后生成全局显著图。具体过程如下。
为了减少计算量,本发明先对合成的真彩色图像进行下采样。通过双线性下采样将原始图像中的多个像素映射为目标图像中的单个像素,得到目标图像。采样原因有二:一是采样后像素个数减少,可以减少其计算量;二是在集中处理某个目标之前,人们不会注意太多图像的细节信息,因而采样不会对图像内容造成太大影响。
然后计算采样后图像中每个像素位置的特征与其它像素位置的特征不相似的个数。具体过程如下:将采样后的图像视作矩形网格状的像素集合,选择任意一个像素点,取其周围7×7的邻域作为一个像素区域。在一个像素区域中随机挑选7个像素构成一种特征(本发明将该7个像素的RGB值构成该特征),依次比较其他像素区域与这种特征的差异,相同为“0”,不同为“1”,差异的累积之和表示每个像素与其它像素的差别的大小,也表示该像素及其邻域在整幅图像中出现频率的多少。该值越大,表示该像素及其邻域的显著性越高。任意选择下一个像素点(不同于上一次选择的像素点)与该像素点周围的7×7的邻域作为像素区域,与其他像素区域进行比较,直到遍历整幅图像的所有像素点。
图像中每个像素位置(x,y)处的特征与其它像素位置的特征不相似的数目个数S'g(x,y),即为像素点(x,y)的显著度,表示如下:
其中,H为采样后图像的高,W为采样后图像的宽,(H×W)表示图像的像素个数,(x,y)表示像素点的坐标位置,mi表示像素(x,y)的像素区域与其他像素区域的特征差异,相似为“1”,否则为“0”,i∈[0,H×W-1]即整幅图像中可取的像素点的个数,公式如下:
然后计算全局显著度。通过上步计算得到所有像素点的显著度后,利用下式计算每个像素点位置处的全局显著度Sg(x,y)为:
其中,S'g-min为通过S'g(x,y)计算得出的所有值中的最小值,S'g-max为通过S'g(x,y)计算得出的所有值中的最大值。由每个像素点位置处的全局显著度得到全局显著图Sg。
2.3归一化融合
本发明将局部显著图记为Sl,将全局显著图记为Sg,对二者进行归一化合并即可得到总的显著图S,N(·)为归一化因子,计算公式如下:
最后将全局显著图和局部显著图进行归一化合并得到总的显著图,通过总的显著图检测的高光谱遥感图像中的显著目标。
Claims (1)
1.基于光谱显著性的高光谱遥感图像小目标检测方法,其特征在于包括以下几个步骤:图像预处理、局部显著度图生成、全局显著度图生成、显著图融合和显著目标检测;
(1)图像预处理
基于不重叠区域对高光谱遥感图像进行数据分块;
(2)基于光谱显著性的高光谱显著图提取
1)局部显著图的生成
并行构建局部显著图的光谱通道和方向通道;
构建光谱通道时,首先对Tile分块后的高光谱图像进行光谱分割,将其分割成分别对应蓝、绿、红波段范围的3个子图像;对这3个子图像构造高斯金字塔,包括高斯滤波和空间子采样两个步骤;对高斯滤波后图像进行下采样产生8个层次的子图像,每一层图像的水平像元和垂直像元个数均是上一层的一半;通过这两个步骤共获得3个不同波段的9个空间尺度的子图像集;
构建方向通道时,首先对光谱数据采用最小噪声分离MNF进行数据降维,将MNF变换后前三个波段的图像进行融合,分别在四个方向即0°,45°,90°和135°,对融合图像进行Gabor滤波,然后对Gabor滤波后图像进行高斯滤波和空间子采样;在4个方向分别获得9层高斯金字塔;
通过中央-周边差计算得到2种光谱特征图即光谱角度特征图和谱范数差特征图以及一个方向特征图;将三种特征图进行归一化和跨尺度融合形成三种相应的特征关注图,将特征关注图进行归一化合并和线性组合得到局部显著图;局部显著图Sl,如以下公式所示:
SAM表示光谱角度特征图,SND表示谱范数差特征图,O表示方向特征图,N(·)为归一化因子;
2)全局显著图的生成
(1)主成分分析合成真彩色图像
利用主成分分析对分块后的高光谱数据行降维处理,经过主成分分析变换后,选择主成分分析变换后的前3个主成分,合成真彩色图像;
(2)改进的基于进化规划的全局显著度图
对合成的真彩色图像进行下采样;然后计算采样后图像中每个像素位置的特征与其它像素位置的特征不相似的个数;具体过程如下:将采样后的图像视作矩形网格状的像素集合,选择任意一个像素点,取其周围7×7的邻域作为一个像素区域;在一个像素区域中随机挑选7个像素的RGB值构成特征,依次比较其他像素区域与这种特征的差异,相同为“0”,不同为“1”,差异的累积之和表示每个像素与其它像素的差别的大小,也表示该像素及其邻域在整幅图像中出现频率的多少;差异的累积之和越大,表示该像素及其邻域的显著性越高;任意选择下一个像素点与该像素点周围的7×7的邻域作为像素区域,与其他像素区域进行比较,直到遍历整幅图像的所有像素点;
图像中每个像素位置(x,y)处的特征与其它像素位置的特征不相似的数目个数S'g(x,y),即为像素点(x,y)的显著度,表示如下:
其中,H为采样后图像的高,W为采样后图像的宽,H×W表示图像的像素个数,(x,y)表示像素点的坐标位置,mi表示像素(x,y)的像素区域与其他像素区域的特征差异,相似为“1”,否则为“0”,i∈[0,H×W-1]即整幅图像像素点的个数,公式如下:
然后计算全局显著度;通过上步计算得到所有像素点的显著度后,利用下式计算每个像素点位置处的全局显著度Sg(x,y)为:
其中,S'g-min为通过S'g(x,y)计算得出的所有值中的最小值,S'g-max为通过S'g(x,y)计算得出的所有值中的最大值;由每个像素点位置处的全局显著度得到全局显著图Sg
2.3归一化融合
将局部显著图记为Sl,将全局显著图记为Sg,对二者进行归一化合并即可得到总的显著图S,N(·)为归一化因子,计算公式如下:
最后将全局显著图和局部显著图进行归一化合并得到总的显著图,通过总的显著图检测的高光谱遥感图像中的显著目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310744004.6A CN103729848B (zh) | 2013-12-28 | 2013-12-28 | 基于光谱显著性的高光谱遥感图像小目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310744004.6A CN103729848B (zh) | 2013-12-28 | 2013-12-28 | 基于光谱显著性的高光谱遥感图像小目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103729848A CN103729848A (zh) | 2014-04-16 |
CN103729848B true CN103729848B (zh) | 2016-08-31 |
Family
ID=50453909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310744004.6A Active CN103729848B (zh) | 2013-12-28 | 2013-12-28 | 基于光谱显著性的高光谱遥感图像小目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103729848B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050674B (zh) * | 2014-06-27 | 2017-01-25 | 中国科学院自动化研究所 | 一种显著性区域检测方法及装置 |
CN105022990B (zh) * | 2015-06-29 | 2018-09-21 | 华中科技大学 | 一种基于无人艇应用的水面目标快速检测方法 |
WO2017067824A1 (en) * | 2015-10-19 | 2017-04-27 | Skansense S.L.U. | Obtaining data from targets using imagery and other remote sensing data |
CN105469392B (zh) * | 2015-11-18 | 2019-02-01 | 西北工业大学 | 基于区域光谱梯度特征对比的高光谱图像显著性检测方法 |
CN105469090B (zh) * | 2015-11-19 | 2018-12-18 | 南京航空航天大学 | 红外图像中基于频域残差的小目标检测方法及装置 |
CN105551029B (zh) * | 2015-12-09 | 2018-11-20 | 云南大学 | 一种多光谱遥感图像舰船检测方法 |
CN106093066B (zh) * | 2016-06-24 | 2018-11-30 | 安徽工业大学 | 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法 |
CN106950177A (zh) * | 2016-11-16 | 2017-07-14 | 中国科学院遥感与数字地球研究所 | 一种gf‑4卫星遥感影像的水体提取方法 |
CN107169487B (zh) * | 2017-04-19 | 2020-02-07 | 西安电子科技大学 | 基于超像素分割及深度特征定位的显著性目标检测方法 |
CN107679538B (zh) * | 2017-09-05 | 2020-12-04 | 深圳大学 | 高光谱图像局部特征描述子的形成方法及形成系统 |
CN112136182A (zh) * | 2017-11-16 | 2020-12-25 | 杨晓东 | 基于Gabor光学相干层析术血流成像的系统和方法 |
CN109960979A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于图像分层技术的车辆检测方法 |
CN108416746B (zh) * | 2018-02-07 | 2023-04-18 | 西北大学 | 基于高光谱图像降维与融合的彩绘文物图案增强方法 |
CN109598701B (zh) * | 2018-10-29 | 2021-03-26 | 同济大学 | 一种基于信息扩展的多光谱遥感影像非监督变化检测方法 |
CN109697431B (zh) * | 2018-12-29 | 2021-11-23 | 哈尔滨工业大学 | 一种基于高光谱图像的弱小目标检测方法 |
CN109858394A (zh) * | 2019-01-11 | 2019-06-07 | 西安电子科技大学 | 一种基于显著性检测的遥感图像水体区域提取方法 |
CN110009032B (zh) * | 2019-03-29 | 2022-04-26 | 江西理工大学 | 一种基于高光谱成像的组装分类方法 |
CN110070004B (zh) * | 2019-04-02 | 2021-07-20 | 杭州电子科技大学 | 一种应用于深度学习的近地高光谱数据扩展方法 |
CN110428374B (zh) * | 2019-07-22 | 2021-08-03 | 北京农业信息技术研究中心 | 一种小体积害虫自动检测方法及系统 |
CN111160300B (zh) * | 2019-12-31 | 2022-06-28 | 北京理工大学重庆创新中心 | 一种结合全局先验的深度学习高光谱图像显著性检测算法 |
CN111652826B (zh) * | 2020-05-18 | 2023-04-25 | 哈尔滨工业大学 | 基于Wallis滤波+直方图匹配的有重多/高光谱遥感图像匀色方法 |
CN111563491B (zh) * | 2020-07-14 | 2020-11-10 | 浙江大华技术股份有限公司 | 利用网络模型对遥感影像进行分割的方法、设备及装置 |
CN112070098B (zh) * | 2020-08-20 | 2024-02-09 | 西安理工大学 | 基于频率调整模型的高光谱图像显著目标检测方法 |
CN112183633B (zh) * | 2020-09-29 | 2023-07-04 | 西安理工大学 | 基于改进的ft算法的高光谱图像显著目标检测方法 |
CN112633155B (zh) * | 2020-12-22 | 2021-08-31 | 生态环境部卫星环境应用中心 | 一种基于多尺度特征融合的自然保护地人类活动变化检测方法 |
CN113327304A (zh) * | 2021-05-28 | 2021-08-31 | 北京理工大学重庆创新中心 | 一种基于端到端神经网络的高光谱图像显著图生成方法 |
CN113449680B (zh) * | 2021-07-15 | 2022-08-30 | 北京理工大学 | 一种基于知识蒸馏的多模小目标检测方法 |
CN113936197B (zh) * | 2021-09-30 | 2022-06-17 | 中国人民解放军国防科技大学 | 一种基于视觉显著性对图像进行目标检测的方法和系统 |
CN115345881B (zh) * | 2022-10-18 | 2023-01-13 | 上海交强国通智能科技有限公司 | 一种基于计算机视觉的路面病害检测方法 |
CN116228524B (zh) * | 2023-02-14 | 2023-12-22 | 无锡学院 | 基于光谱差异的高光谱图像序列降维方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102496157A (zh) * | 2011-11-22 | 2012-06-13 | 上海电力学院 | 基于高斯多尺度变换及颜色复杂度的图像检测方法 |
CN103034865A (zh) * | 2012-12-13 | 2013-04-10 | 南京航空航天大学 | 一种基于多尺度相对熵的视觉显著区域提取方法 |
-
2013
- 2013-12-28 CN CN201310744004.6A patent/CN103729848B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102496157A (zh) * | 2011-11-22 | 2012-06-13 | 上海电力学院 | 基于高斯多尺度变换及颜色复杂度的图像检测方法 |
CN103034865A (zh) * | 2012-12-13 | 2013-04-10 | 南京航空航天大学 | 一种基于多尺度相对熵的视觉显著区域提取方法 |
Non-Patent Citations (3)
Title |
---|
《基于视觉注意机制的感兴趣区检测》;张菁等;《光子学报》;20090630;第38卷(第6期);全文 * |
《基于视觉注意模型的进化规划的感兴趣区检测方法》;张菁等;《电子与信息学报》;20090731;第31卷(第7期);第3章 * |
《视觉注意力模型的改进算法》;高静静等;《电子测量技术》;20080331;第31卷(第3期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN103729848A (zh) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103729848B (zh) | 基于光谱显著性的高光谱遥感图像小目标检测方法 | |
Wen et al. | A novel automatic change detection method for urban high-resolution remotely sensed imagery based on multiindex scene representation | |
CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
Liu et al. | Tree species classification of LiDAR data based on 3D deep learning | |
CN106503739A (zh) | 联合光谱和纹理特征的高光谱遥感影像svm分类方法及系统 | |
CN107341795A (zh) | 一种知识驱动的高空间分辨率遥感影像自动变化检测方法 | |
CN110502654A (zh) | 一种适用于多源异构遥感数据的目标库生成系统 | |
CN103839267B (zh) | 一种基于形态学建筑物指数的建筑物提取方法 | |
Du et al. | A hyperspectral target detection framework with subtraction pixel pair features | |
CN110390255A (zh) | 基于多维度特征提取的高铁环境变化监测方法 | |
Ge et al. | Hyperspectral and LiDAR data classification using kernel collaborative representation based residual fusion | |
Qadri et al. | Multisource data fusion framework for land use/land cover classification using machine vision | |
CN106960221A (zh) | 一种基于光谱特征和空间特征融合的高光谱图像分类方法及系统 | |
Zhang et al. | The analysis of object-based change detection in mining area: A case study with pingshuo coal mine | |
Dong et al. | Deep ensemble CNN method based on sample expansion for hyperspectral image classification | |
Xu et al. | Feature-based constraint deep CNN method for mapping rainfall-induced landslides in remote regions with mountainous terrain: An application to Brazil | |
Quan et al. | Tree species classification in a typical natural secondary forest using UAV-borne LiDAR and hyperspectral data | |
CN109829426A (zh) | 基于高分遥感影像的铁路建设临时建筑监测方法及系统 | |
Bin et al. | Parcel-based change detection in land-use maps by adopting the holistic feature | |
Xu et al. | Vegetation information extraction in karst area based on UAV remote sensing in visible light band | |
Guo et al. | Dual-concentrated network with morphological features for tree species classification using hyperspectral image | |
Zhu et al. | HCNNet: A hybrid convolutional neural network for spatiotemporal image fusion | |
Li et al. | Mixing Self-Attention and Convolution: A Unified Framework for Multi-source Remote Sensing Data Classification | |
CN109101977A (zh) | 一种基于无人机的数据处理的方法及装置 | |
Zhang et al. | Multilevel feature context semantic fusion network for cloud and cloud shadow segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |