CN103247059A - 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法 - Google Patents

一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法 Download PDF

Info

Publication number
CN103247059A
CN103247059A CN2013102002628A CN201310200262A CN103247059A CN 103247059 A CN103247059 A CN 103247059A CN 2013102002628 A CN2013102002628 A CN 2013102002628A CN 201310200262 A CN201310200262 A CN 201310200262A CN 103247059 A CN103247059 A CN 103247059A
Authority
CN
China
Prior art keywords
remote sensing
color
image
remarkable
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102002628A
Other languages
English (en)
Other versions
CN103247059B (zh
Inventor
张立保
李�浩
杨凯娜
丘兵昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN201310200262.8A priority Critical patent/CN103247059B/zh
Publication of CN103247059A publication Critical patent/CN103247059A/zh
Application granted granted Critical
Publication of CN103247059B publication Critical patent/CN103247059B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法,属于遥感图像目标识别技术领域。实施过程包括:1、对遥感图像进行色彩合成与滤波去噪预处理;2、将预处理后的RGB空间遥感图像转化到CIE Lab色彩空间,得到亮度和颜色特征图,利用整数小波对L分量变换得到方向特征图;3、构建模拟人眼视网膜感受野的高斯差分滤波器,结合高斯金字塔进行跨尺度合并得到亮度和颜色特征显著图,利用小波系数筛选和跨尺度合并得到方向特征显著图;4、用特征竞争策略合成主显著图;5、对主显著图阈值分割得到感兴趣区。本发明提高了遥感图像感兴趣区的检测精度,降低了计算复杂度,可用于环境监测、城镇规划与林业调查等领域。

Description

一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法
技术领域
本发明属于遥感图像目标识别技术领域,是一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法。
背景技术
高空间分辨率遥感图像包含巨大的数据量,清晰的地物细节信息以及丰富的纹理信息,在很大程度上缓解了低分辨率遥感图像混合像元分解的难题,因此,高空间分辨率遥感图像已经被越来越广泛地运用于军事及民用的各种领域。然而,传统的遥感图像分析方法面对遥感数据量的迅速增加,已经无法满足快速处理的要求,因此,发展针对高空间分辨率遥感图像的信息处理技术具有非常重要的意义。
目标检测是遥感图像重要的应用领域之一。传统的遥感图像目标检测算法主要运用分类技术,并且会涉及对图像的全局分割,分类方法需要建立复杂的先验知识库,而全局分割和搜索又带来了搜索精度下降、计算复杂度大幅上升等一系列问题,这些问题在涉及高空间分辨率遥感图像时会显得尤为突出。由于有价值的目标一般来说都与背景区域有着明显的差异,而且通常只占整幅图像中很小的一部分,因此在处理遥感图像中对所有像素不加分辨统一处理是不明智的,如果能够首先找到可能含有有价值目标的感兴趣区,则能够大大减少后续的分类和识别的数据处理量,使得对图像的利用更加高效。
人类视觉系统具有一种特殊的信息处理方式,即为了应对远远超过人的处理能力的视觉信息,视觉系统利用视觉注意机制选择一小部分信息进行重点分析,而对余下部分仅作有限的处理,这一特性对于感兴趣区的快速检测来说具有很强的借鉴意义。近年来,视觉注意机制的计算方法层出不穷,其中包括具有重要意义的Itti等人在文章“A model of saliency-based visual attention for rapid scene analysis”中提出的方法,它以特征整合理论为基础,具有严谨的生物学基础,它的基本架构已经成为视觉注意方法的标准,也是众多现有视觉注意方法的基础。除此之外,也有学者从其他角度构建视觉注意方法,其中包括Harel等人在文章“Graph-based visual saliency”中提出的基于图论的方法(GBVS),Achanta等人在文章“Frequency-tunedsalient region detection”中提出的基于图像对比度的方法(FT)。
小波变换是一种非常有效的数据分析工具,它能够体现信号在任意尺度上的细节,在图像处理等领域具有广泛的应用,由于小波的多尺度特性,以及方向纹理描绘能力,也有学者将小波变换引入到视觉方法建模之中,其中Nevrez等人在文章“A Saliency Detection Model Using Low-Level Features Based on WaveletTransform”中提出了一种基于图像低级特征和小波变换的视觉注意方法(WT),实现了小波变换与经典理论的有效结合。
对于遥感图像来说,ITTI和GBVS方法产生的显著图分辨率过低,以至于无法实现对于感兴趣区的精确描述,会漏检许多重要的区域。FT和WT方法都产生了与原图大小相同的显著图,因此图中也包含了更多的细节和清晰的边缘。但是FT方法的显著图中有许多碎片化的区域,这些区域对应于原始图像中的背景信息。WT方法存在着相似的问题,而且显著图的对比度偏低,这会对阈值分割带来困难。
发明内容
为了克服上述现有技术的不足,本发明提供了一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法。本发明方法主要关注以下几个方面:
1)将图像转换到符合人眼对于亮度和颜色视觉特征的感知色彩空间,从而提升遥感图像感兴趣区检测精度;
2)通过使用小波变换降低遥感图像感兴趣区检测中提取方向特征的计算复杂度;
3)构建了模拟人眼视网膜感受野的高斯差分空间滤波器,用来计算显著图,从而得到更为准确的感兴趣区信息;
4)为了衡量不同特征对主显著图的贡献,提出合适的特征竞争策略。
本发明所采用的技术方案具体包括以下几个步骤:
步骤一:对遥感图像进行预处理,即首先在多光谱遥感图像中选择3个波段分别作为RGB色彩空间中的红色(R)、绿色(G)与蓝色(B)分量,组合这些波段,生成接近地物信息实际颜色的RGB空间彩色遥感图像,然后对该遥感图像进行低通滤波去除噪声。具体过程为:
1)对多光谱遥感图像中的多个波段进行选择,选择3个波段的数据分别作为RGB色彩空间中的红色(R)、绿色(G)与蓝色(B)分量,组合这些波段,生成RGB色彩空间中的彩色遥感图像,在选择波段及其组合时,要选取目视效果较好,接近于地物信息实际颜色的波段组合;
2)在得到彩色遥感图像后,对图像进行高斯低通滤波,消除噪声的影响,将经过滤波之后的遥感图像将作为后续处理的输入数据。
步骤二:将RGB空间的遥感图像变换到更接近人眼视觉信息感知效果的CIE Lab色彩空间,得到图像的亮度和颜色特征图,利用内插双线性整数小波对L分量进行变换,将多尺度、不同方向上的细节子带小波系数作为遥感图像的方向特征图。具体过程为:
1)图像的亮度和颜色特征图通过将输入图像转换到CIE Lab色彩空间来提取,CIE Lab颜色空间的三个通道分别代表亮度L(L=0代表黑色,L=100代表白色),颜色在红/绿之间的位置a(a为负值代表绿色,a为正值代表红色),颜色在蓝/黄之间的位置b(b为负值代表蓝色,b为正值代表黄色);
2)图像的方向特征图通过内插双线性整数小波变换来提取,将亮度特征L进行n级小波分解,将整数小波变换后得到的近似分量舍去,仅保留3×n个细节子带作为方向特征图,这些特征图分别构成水平、垂直与对角线方向3个细节子带小波系数金字塔。
步骤三:利用高斯金字塔、高斯差分滤波器和跨尺度合并得到图像的亮度和颜色特征显著图,即首先分别生成亮度特征与颜色特征的高斯金字塔,然后使用高斯差分滤波器对金字塔的每一层级做空域滤波,最后分别对亮度与颜色特征金字塔进行跨尺度合并,得到亮度特征显著图和颜色特征显著图,利用小波系数筛选和跨尺度合并得到图像的方向特征显著图,即首先筛除各细节子带中代表细小且无价值区域的小波系数,然后利用高斯模板对各细节子带进行低通滤波,最后通过跨尺度合并得到方向特征显著图。具体过程为:
1)对于亮度和颜色特征图,为了得到多尺度融合后的特征显著图,首先分别生成它们各自的高斯金字塔,然后使用高斯差分滤波器对金字塔的每一层做空域滤波,最后通过跨尺度合并策略得到亮度特征显著图和颜色特征显著图;
2)对于方向特征图,由于小波变换后不同尺度下的细节子带系数已经呈现出图像不同方向上的边缘显著信息,因此可以通过对细节子带小波系数的筛选以及各细节子带的跨尺度合并生成方向特征显著图,针对水平方向细节子带小波系数金字塔
Figure BSA00000901643400021
(其中
Figure BSA00000901643400022
为金字塔的阶数,n为之前所述的n级小波分解),可以通过如下步骤对每一层小波系数进行处理:
①找到图像的极大值M,
②筛除各细节子带中代表细小且无价值区域的小波系数,这里采用将图像中所有小于M/10的系数置零:
Figure BSA00000901643400031
③将
Figure BSA00000901643400032
标准化到区间[0,1],记为
Figure BSA00000901643400033
④使用3×3的空域高斯低通滤波器模板G对
Figure BSA00000901643400034
进行低通滤波:
Figure BSA00000901643400035
上述步骤处理后的水平方向细节子带小波系数记为
Figure BSA00000901643400036
对于垂直方向与对角线方向细节子带小波系数也进行同样的处理,得到
Figure BSA00000901643400037
Figure BSA00000901643400038
分别代表上述步骤处理后的垂直方向与对角线方向细节子带小波系数,最终的方向特征显著图
Figure BSA00000901643400039
由下式计算的到:
Figure BSA000009016434000310
即通过跨尺度合并策略得到方向特征显著图。
步骤四:将特征竞争策略引入亮度、颜色与方向特征显著图融合过程,从而获得主显著图,即首先将所有的特征显著图标准化到区间[0,1],然后使用最大类间方差法(Ostu方法)计算各特征显著图的最优灰度阈值Ti(i=1,2,3),将各特征显著图中灰度值大于该阈值的点定义为“显著点”,接着计算各特征显著图的显著点灰度均值和各特征显著图的全图灰度均值
Figure BSA000009016434000312
各特征显著图的权重即为
Figure BSA000009016434000313
最后通过计算
Figure BSA000009016434000314
得到主显著图S(其中为亮度特征显著图,
Figure BSA000009016434000316
为颜色特征显著图,
Figure BSA000009016434000317
为方向特征显著图)。
步骤五:通过最大类间方差法得到主显著图的分割阈值,利用该阈值将主显著图分割为一幅二值图像模板,用“1”代表感兴趣区(Region of Interest,ROI),用“0”代表非感兴趣区,最后将二值图像模板与原始图像相乘得到最终的感兴趣区检测结果。
与传统视觉注意方法相比,本方法将提升整数小波分解用于图像的特征提取,并直接通过小波系数得到方向特征显著图,与Gabor方向特征相比一方面大大减少了计算量,也具有比较可靠的特征提取结果。在显著图计算时,采用高斯差分滤波器与高斯金字塔相结合的方式计算不同尺度下的显著图。在主显著图融合时,提出了一种全新的特征竞争策略来确定各个特征的权重,很好地解决了Itti方法全局增强算法存在的问题。本发明提高了遥感图像感兴趣区的检测精度,降低了计算复杂度,可用于环境监测、城镇规划与林业调查等领域。
本发明的研究工作得到了国家自然科学基金项目(61071103)与中央高校基本科研业务费专项资金(2012LYB50)的资助。
附图说明
图1为本发明方法的流程图;
图2为二级小波分解示例图。(a)为原始图,(b)一级小波分解示例图,(c)为二级小波分解示例图;
图3为显著图的计算示例图;
图4为最终的检测结果示例图;
图5为GBVS方法、ITTI方法、FT方法、WT方法和本发明方法的显著图比较结果。(a)为原始图,(b)为GBVS方法生成的显著图,(c)为ITTI方法生成的显著图,(d)为FT方法生成的显著图,(e)为WT方法生成的显著图,(f)为本发明方法生成的显著图;
图6为GBVS方法、ITTI方法、FT方法、WT方法和本发明方法的阈值分割结果;(a)为原始图,(b)为GBVS方法的阈值分割结果,(c)为ITTI方法的阈值分割结果,(d)为FT方法的阈值分割结果,(e)为WT方法的阈值分割结果,(f)为本发明方法的阈值分割结果;
图7为GBVS方法、ITTI方法、FT方法、WT方法和本发明方法的ROC曲线比较图;
图8为GBVS方法、ITTI方法、FT方法、WT方法和本发明方法的ROC面积结果比较图;
图9为FT方法,WT方法和本发明方法的处理运行时间对比结果图。
具体实施方式
下面结合附图对本发明进一步说明,图1显示了本发明方法的流程图,现介绍每一步实现细节。
步骤一:输入图像预处理;
遥感图像与普通的自然景物图像有很大不同,目前的遥感图像数据主要分为全色遥感图像和多光谱遥感图像。前者包含了所有波段的信息,在视觉上是一幅灰度图像。由于在后续处理中需要利用视觉注意方法,而颜色信息是一种非常重要的视觉特征,因此全色遥感图并不是最佳的输入数据,所以本方法所处理的遥感图像以多光谱图像为主。对于多光谱遥感图像,一般来说都包含了三个以上波段的信息,而现有的显示设备都只能支持三通道的RGB颜色(红色R、绿色G与蓝色B)图像,因此需要我们对多光谱遥感图像中的多个波段进行选择,选取三个波段的数据合成目视效果较好,接近地物信息实际颜色的彩色遥感图像。
在得到彩色图像之后,接下来要对图像进行高斯低通滤波,以消除噪声的影响,经过滤波之后的图像将作为后续处理的输入数据。
步骤二:特征提取;
1)亮度和颜色特征
为了能够更好地符合人眼对视觉信息的感知方式,我们首先要将输入图像转换到CIE Lab色彩空间。CIELab颜色空间的三个通道分辨代表亮度(L,L=0代表黑色,L=100代表白色),颜色在红/绿之间的位置(a,a为负值代表绿色,a为正值代表红色),颜色在蓝/黄之间的位置(b,b为负值代表蓝色,b为正值代表黄色)。CIE Lab色彩空间是专门为近似人类视觉而设计的,其亮度分量与人眼对于亮度的感知非常接近,而两个颜色分量也很好地符合了颜色拮抗方法。
2)方向特征
离散小波变换是进行多分辨率分析的很有力的工具。对于一幅二维的图像来说,离散小波变换首先进行列变换,然后进行行变换,这样就把图像分解成四个小波子带,分别包含了图像的近似分量,以及水平、垂直和对角线细节分量。图2显示了二级小波分解的一个例子,在图2(c)中,左上角的四幅小图像是第二级小波分解的结果,右上,左下,右下的四幅较大的图像是第一级小波分解的结果,即图2(b)所示。从图中我们可以看到,小波分解的细节分量突出显示了图像中水平,垂直和对角线方向的多尺度边缘信息。
离散小波变换的提升实现具有计算简便,可实现无损整数变换,不需要额外的存储空间等优点,在图像压缩等领域有着广泛的应用。下式给出了(5,3)内插双线型整数小波变换的提升变换公式:
其中x[n]为输入信号,s0[n]=x[2n],d0[n]=x[2n+1],s[n]和d[n]分别为低频子带和高频子带。
图像的方向特征通过(5,3)内插双线性整数小波变换来提取。我们将亮度特征L进行n级小波分解:
Figure BSA00000901643400042
Figure BSA00000901643400043
Figure BSA00000901643400044
A0=L
其中h为图像较短的一条边,
Figure BSA00000901643400051
为近似分量,
Figure BSA00000901643400052
Figure BSA00000901643400053
分别为水平方向,垂直方向和对角线方向的细节分量。我们将近似分量舍去,得到了3×n个方向特征图,这些特征图分别构成水平、垂直与对角线方向3个细节子带小波系数金字塔:
Figure BSA00000901643400054
Figure BSA00000901643400055
Figure BSA00000901643400056
步骤三:特征显著图计算;
根据视觉注意机制的生理基础,视觉通路的每一个细胞在视网膜上都有相对应的感受区域,该区域被称为感受野(Receptive Field,RF)。感受野包含一个中央区域和围绕它的周边区域,组成同心圆的形状,而这两个区域对于光信号具有相反的反应,而根据中心区域的反应类型,感受野可被分为on-中央型和off-中央型。RF对光信号的反应曲线类似于一个高斯差分函数(Difference of Gaussian,DoG),因此RF的总输出信号就是反应曲线与输入信号的积分。这种反应曲线存在于亮度和颜色信号,对于颜色信号来说,感受野的中央区域和周边区域与一对拮抗颜色对相对应,这种拮抗颜色对包括红/绿和蓝/黄两种。接下来,我们将使用高斯差分函数来对RF进行模拟,从而得到亮度和颜色特征的显著图。我们定义如下的高斯差分空域滤波器:
DoG ( x , y ) = c 1 2 2 π σ 1 2 e x 2 + y 2 2 σ 1 2 - c 2 2 2 π σ 2 2 e x 2 + y 2 2 σ 2 2
其中σ1为滤波器尺寸的2%,σ2为滤波器尺寸的25%,c1=0.5,c2=1.5,本发明使用5x5大小的高斯差分滤波器。
为了获得不同尺度下的显著图,对于亮度和颜色特征,我们首先生成它们相应的高斯金字塔,记为
Figure BSA00000901643400058
Figure BSA00000901643400059
其中
Figure BSA000009016434000510
为金字塔的阶数,n和之前所述的小波系数金字塔的阶数相同。然后我们使用高斯差分滤波器对金字塔的每一层级做空域滤波,接着通过跨尺度合并得到亮度特征显著图
Figure BSA000009016434000511
和颜色特征显著图
Figure BSA000009016434000513
Figure BSA000009016434000514
其中
Figure BSA000009016434000515
为跨尺度合并算子,其计算方法为将图像调整为金字塔第一层图像的大小,然后做点对点相加。
对于方向特征来说,小波变换的细节尺度已经呈现了不同尺度下不同方向上的变化部分,因此我们将这些小波系数直接作为显著图来使用。但是同时我们也看到,在小波系数图像中包含了许多零散分布的代表细小区域的系数,而这些区域往往并不是我们所关注的有价值的区域,反而会对最终的显著图产生干扰,因此可以通过对细节子带小波系数的筛选以及各细节子带的跨尺度合并生成方向特征显著图,针对水平方向细节子带小波系数金字塔
Figure BSA000009016434000516
可以通过如下步骤对每一层小波系数进行处理:
1)找到图像
Figure BSA000009016434000517
的极大值M,
2)筛除各细节子带中代表细小且无价值区域的小波系数,这里采用将图像中所有小于M/10的系数置零:
Figure BSA000009016434000518
3)将
Figure BSA00000901643400061
标准化到区间[0,1],记为
Figure BSA00000901643400062
4)使用3×3的空域高斯低通滤波器模板G对
Figure BSA00000901643400063
进行低通滤波:
Figure BSA00000901643400064
上述步骤处理后的水平方向细节子带小波系数记为
Figure BSA00000901643400065
对于垂直方向与对角线方向细节子带小波系数也进行同样的处理,得到
Figure BSA00000901643400066
分别代表上述步骤处理后的垂直方向与对角线方向细节子带小波系数,最终的方向特征显著图
Figure BSA00000901643400068
由下式计算的到:
Figure BSA00000901643400069
即通过跨尺度合并策略得到方向特征显著图。
步骤四:主显著图计算;
在得到三幅特征显著图之后,我们将对其进行融合,生成一幅主显著图。由于视觉注意机制中存在特征竞争,因此每一幅特征显著图对主显著图的贡献是不同的。Itti方法提出了一种全局增强算子N(·),该算法通过计算特征显著图中最大的局部最大值与剩余的局部最大值之间的差来决定特征图的权重。这种算法有一个很明显的缺陷,如果特征显著图中有若干较强的区域,根据该算法该特征图将被赋予很低的权重,在遥感图像中,图像中只有一个最显著区域的情况比较少见,因此Itti的全局增强算法并不适用于运用于遥感图像感兴趣区检测的视觉注意方法。
为了衡量不同特征显著图对主显著图的贡献,我们提出了一种特征竞争策略,该策略基于这样一种原则:显著图中的显著区域与整幅图像亮度均值之间的差异越大,则该特征图越重要,该策略很好地解决了全局增强算法存在的问题。下面我们就来详细介绍本算法。
首先,我们设定阈值T,将特征显著图中灰度值大于该阈值的点定义为“显著点”,显著点代表了该特征图中的显著区域,特征竞争算法通过如下步骤来完成:
1)将所有的特征显著图标准化到区间[0,1];
2)使用最大类间方差法计算各特征显著图的最优灰度阈值Ti,i=1,2,3;
3)计算各特征显著图的显著点灰度均值
Figure BSA000009016434000610
4)计算各特征显著图的全图灰度均值
Figure BSA000009016434000611
5)计算各特征显著图的权重:
w i = [ M ‾ i - m ‾ i ] 2
6)在得到各特征图的权重之后,我们按照下式得到最终的主显著图S:
S = w I ‾ · I ‾ + w C ‾ · C ‾ + w O ‾ · O ‾
其中为亮度特征显著图,
Figure BSA000009016434000615
为颜色特征显著图,
Figure BSA000009016434000616
为方向特征显著图;图3给出了显著图的计算示例,图中标出了各特征显著图的权重。
步骤五:感兴趣区描述;
在得到主显著图之后,我们就可以通过主显著图得到感兴趣区。因为在主显著图中,感兴趣区具有较高的灰度值,因此可以用阈值分割简单地将感兴趣区与非感兴趣区(背景信息)分开。阈值通过最大类间方差法得到,在得到阈值之后,利用该阈值将显著图分割为一幅二值图像,用“1”代表感兴趣区,用“0”代表非感兴趣区。最终的检测结果通过将此二值模板与原始图像相乘得到,如图4所示。
本发明的效果可通过以下实验结果与分析进一步说明:
为了评价本发明方法的性能,我们设计了如下的对比实验,实验包括定性实验和定量实验,选取了现有的具有代表性的视觉注意方法,包括Itti方法(ITTI),Achanta的频域方法(FT),Harel的基于图论的方法(GBVS)以及Nevrez的小波变换方法(WT)。
实验所用数据为来自SPOT5卫星的北京市郊区遥感图,我们从图中剪切了若干2048x2048大小的区块作为实验数据,并从图像的四个波段中选取三个来进行彩色合成。实验环境如下:
处理器
Figure BSA00000901643400071
PentiumTM G630 2.7GHz
系统内存    4Gb
操作系统    Windows 7 Ultimate,64-bit
1.定性实验分析
图5显示了五种方法的显著图比较结果,其中(a)为原始图,(b)为GBVS方法生成的显著图,(c)为ITTI方法生成的显著图,(d)为FT方法生成的显著图,(e)为WT方法生成的显著图,(f)为本发明方法生成的显著图。图像BJ-1和BJ-2的感兴趣区与背景区域相比有比较强烈的亮度和颜色对比,针对这些幅图像,ITTI和GBVS方法产生的显著图分辨率过低,以至于无法实现对于感兴趣区的精确描述。剩余三种方法都产生了与原图大小相同的显著图,因此图中也包含了更多的细节和清晰的边缘。但是同时我们也看到FT方法的显著图中有许多碎片化的区域,这些区域对应于原始图像中的背景信息。WT方法存在着相似的问题,而且显著图的对比度偏低,这可能对阈值分割带来困难。本发明方法生成的显著图具有比较大的对比度,能够将感兴趣区更明显地突出出来。
图6显示了五种方法的阈值分割结果,正如前面分析的那样,ITTI方法和GBVS方法无法对感兴趣区进行精确的描述,而且都存在一定程度的漏检情况,但是ITTI方法相比GBVS方法能够检出更多的感兴趣区。FT方法的分割结果存在较多的无意义区域,而且在亮度和颜色对比度较低时也存在比较严重的漏检问题。WT方法的碎片化现象相比FT方法有所缓解,在对纹理区域的检测能力也强于FT方法,而且对于纹理区域的描述,WT方法能够凸显整个区域,而不会在内部产生碎片化的检测结果。但其显著图对比度偏低,阈值分割后区域存在漏检和误检现象。本发明方法能够检出绝大多数感兴趣区,而且也能够对其进行比较精确的描述。
2.定量实验分析
为了更加客观地评价方法的性能,我们使用受试者工作特性曲线(Receiver Operator Curve,ROC)来对方法进行定量的性能评估。ROC曲线被广泛应用于二分类分类效果的评估,其基本原理是通过判断点的移动,得到一系列击中率(Hit Rate)和误识率(False Positive Rate),然后以误识率为横轴,击中率为纵轴绘制曲线。其中击中率定义为将实际上为真判断为真的概率,误识率定义为将实际上为假判断为真的概率。ROC曲线下方的面积(AUC)越大,说明方法的性能越可靠,AUC的值在1.0和0.5之间,当0.5<AUC<0.7时,方法具有较低的准确性,当0.7<AUC<0.9时方法具有一定的准确性,当AUC>0.9时方法具有较高的准确性,当AUC=0.5时说明该方法没有起到作用。
我们随机选取了100幅分辨率为2048x2048的遥感图像作为实验数据库,针对每一幅图像,通过人工目视判别对感兴趣区进行分割作为评判标准,然后分别用这五种方法对图像进行处理,得到显著图,通过计算在不同阈值之下,显著图的分割结果的击中率和误识率来绘制ROC曲线。图7和图8显示了五种方法的ROC曲线以及ROC面积结果,从中我们可以看出本发明方法具有最好的性能。
另外一种值得注意的结果是处理时间。从ROC曲线可以看出,FT方法,WT方法和本发明方法具有比较接近的性能,为此,我们将这三种方法的运行时间进行对比,结果如图9所示。
从图中可以看出,FT方法的时间复杂度最低,随后是本发明方法,WT方法的时间复杂度最高。虽然FT具有较高的计算效率,但是该方法并没有充分考虑图像中的纹理与边缘特征,而丰富的纹理和边缘信息恰恰是高空间分辨率遥感图像的最大特点,FT方法在之前的检测效果实验中也出现了比较严重的漏检情况,因此FT方法可以说并不适合于遥感图像的感兴趣区检测。而本发明方法和WT方法同样采用了小波变换的方法,但是本发明方法的计算复杂度远小于WT方法。
综合考虑检测效果和处理时间,本发明提高了遥感图像感兴趣区的检测精度,降低了计算复杂度,对今后遥感图像自动目标识别技术具有重要的理论与实际价值,可广泛应用于环境监测、城镇规划与林业调查等领域。

Claims (4)

1.一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法,在该方法中,首先对输入图像进行色彩合成与滤波去噪预处理,然后将预处理后的RGB空间遥感图像转化到CIE Lab色彩空间,得到亮度和颜色特征图,利用整数小波对L分量进行变换后,将多尺度、不同方向上的细节子带小波系数作为方向特征图,在显著图计算阶段,构建与人眼视网膜感受野相似的高斯差分滤波器,结合高斯金字塔与跨尺度合并,分别得到亮度与颜色特征显著图,通过对细节子带小波系数的筛选以及各细节子带的跨尺度合并生成方向特征显著图,利用一种新的图像特征竞争策略合成主显著图,最后采用阈值分割从主显著图上得到感兴趣区,本发明的特征在于,具体包括以下步骤:
步骤一:对遥感图像进行预处理,即首先在多光谱遥感图像中选择3个波段分别作为RGB色彩空间中的红色(R)、绿色(G)与蓝色(B)分量,组合这些波段,生成接近地物信息实际颜色的RGB空间彩色遥感图像,然后对该遥感图像进行低通滤波去除噪声;
步骤二:将RGB空间的遥感图像变换到更接近人眼视觉信息感知效果的CIE Lab色彩空间,得到图像的亮度和颜色特征图,利用内插双线性整数小波对L分量进行变换,将多尺度、不同方向上的细节子带小波系数作为遥感图像的方向特征图;
步骤三:利用高斯金字塔、高斯差分滤波器和跨尺度合并得到图像的亮度和颜色特征显著图,即首先分别生成亮度特征与颜色特征的高斯金字塔,然后使用高斯差分滤波器对金字塔的每一层级做空域滤波,最后分别对亮度与颜色特征金字塔进行跨尺度合并,得到亮度特征显著图和颜色特征显著图,利用小波系数筛选和跨尺度合并得到图像的方向特征显著图,即首先筛除各细节子带中代表细小且无价值区域的小波系数,然后利用高斯模板对各细节子带进行低通滤波,最后通过跨尺度合并得到方向特征显著图;
步骤四:将特征竞争策略引入亮度、颜色与方向特征显著图融合过程,从而获得主显著图,即首先将所有的特征显著图标准化到区间[0,1],然后使用最大类间方差法(Ostu方法)计算各特征显著图的最优灰度阈值Ti(i=1,2,3),将各特征显著图中灰度值大于该阈值的点定义为“显著点”,接着计算各特征显著图的显著点灰度均值和各特征显著图的全图灰度均值各特征显著图的权重即为
Figure FSA00000901643300013
最后通过计算
Figure FSA00000901643300014
得到主显著图S(其中
Figure FSA00000901643300015
为亮度特征显著图,
Figure FSA00000901643300016
为颜色特征显著图,
Figure FSA00000901643300017
为方向特征显著图);
步骤五:通过最大类间方差法得到主显著图的分割阈值,利用该阈值将主显著图分割为一幅二值图像模板,用“1”代表感兴趣区(Region of Interest,ROI),用“0”代表非感兴趣区,最后将二值图像模板与原始图像相乘得到最终的感兴趣区检测结果。
2.根据权利要求1所述的一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法,其特征在于,所述步骤一的具体过程为:
1)对多光谱遥感图像中的多个波段进行选择,选择3个波段的数据分别作为RGB色彩空间中的红色(R)、绿色(G)与蓝色(B)分量,组合这些波段,生成RGB色彩空间中的彩色遥感图像,在选择波段及其组合时,要选取目视效果较好,接近于地物信息实际颜色的波段组合;
2)在得到彩色遥感图像后,对图像进行高斯低通滤波,消除噪声的影响,将经过滤波之后的遥感图像将作为后续处理的输入数据。
3.根据权利要求1所述的一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法,其特征在于,所述步骤二的具体过程为:
1)图像的亮度和颜色特征图通过将输入图像转换到CIE Lab色彩空间来提取,CIE Lab颜色空间的三个通道分别代表亮度L(L=0代表黑色,L=100代表白色),颜色在红/绿之间的位置a(a为负值代表绿色,a为正值代表红色),颜色在蓝/黄之间的位置b(b为负值代表蓝色,b为正值代表黄色);
2)图像的方向特征图通过内插双线性整数小波变换来提取,将亮度特征L进行n级小波分解,将整数小波变换后得到的近似分量舍去,仅保留3×n个细节子带作为方向特征图,这些特征图分别构成水平、垂直与对角线方向3个细节子带小波系数金字塔。
4.根据权利要求1所述的一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法,其特征在于,所述步骤三的具体过程为:
1)对于亮度和颜色特征图,为了得到多尺度融合后的特征显著图,首先分别生成它们各自的高斯金字塔,然后使用高斯差分滤波器对金字塔的每一层做空域滤波,最后通过跨尺度合并策略得到亮度特征显著图和颜色特征显著图;
2)对于方向特征图,由于小波变换后不同尺度下的细节子带系数已经呈现出图像不同方向上的边缘显著信息,因此可以通过对细节子带小波系数的筛选以及各细节子带的跨尺度合并生成方向特征显著图,针对水平方向细节子带小波系数金字塔(其中
Figure FSA00000901643300022
为金字塔的阶数,n为之前所述的n级小波分解),可以通过如下步骤对每一层小波系数进行处理:
①找到图像
Figure FSA00000901643300023
的极大值M,
②筛除各细节子带中代表细小且无价值区域的小波系数,这里采用将图像中所有小于M/10的系数置零:
③将
Figure FSA00000901643300025
标准化到区间[0,1],记为
Figure FSA00000901643300026
④使用3×3的空域高斯低通滤波器模板G对
Figure FSA00000901643300027
进行低通滤波:
Figure FSA00000901643300028
上述步骤处理后的水平方向细节子带小波系数记为
Figure FSA00000901643300029
对于垂直方向与对角线方向细节子带小波系数也进行同样的处理,得到
Figure FSA000009016433000210
Figure FSA000009016433000211
分别代表上述步骤处理后的垂直方向与对角线方向细节子带小波系数,最终的方向特征显著图
Figure FSA000009016433000212
由下式计算的到:
Figure FSA000009016433000213
即通过跨尺度合并策略得到方向特征显著图。
CN201310200262.8A 2013-05-27 2013-05-27 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法 Expired - Fee Related CN103247059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310200262.8A CN103247059B (zh) 2013-05-27 2013-05-27 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310200262.8A CN103247059B (zh) 2013-05-27 2013-05-27 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法

Publications (2)

Publication Number Publication Date
CN103247059A true CN103247059A (zh) 2013-08-14
CN103247059B CN103247059B (zh) 2016-02-17

Family

ID=48926564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310200262.8A Expired - Fee Related CN103247059B (zh) 2013-05-27 2013-05-27 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法

Country Status (1)

Country Link
CN (1) CN103247059B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489013A (zh) * 2013-09-18 2014-01-01 航天科工深圳(集团)有限公司 一种用于电力设备监测的图像识别方法
CN103871053A (zh) * 2014-02-25 2014-06-18 苏州大学 一种基于视觉显著性的布匹瑕疵检测方法
CN104077611A (zh) * 2014-07-14 2014-10-01 金陵科技学院 类地重力场环境下室内场景单目视觉空间识别方法
CN104134211A (zh) * 2014-07-23 2014-11-05 西安工程大学 一种基于高斯滤波器多分辨率滤波的带钢缺陷检测方法
CN104299230A (zh) * 2014-09-25 2015-01-21 北京理工大学 一种利用红黑小波变换的图像显著性检测方法
CN104574405A (zh) * 2015-01-15 2015-04-29 北京天航华创科技股份有限公司 一种基于Lab空间的彩色图像阈值分割方法
CN106485247A (zh) * 2016-09-30 2017-03-08 广西师范大学 基于神经元感受野空间结构的显著性检测方法
CN107154049A (zh) * 2017-05-19 2017-09-12 中国农业科学院农业环境与可持续发展研究所 一种基于颜色信息的蔬菜叶片病斑分割方法及服务器
WO2017166261A1 (zh) * 2016-04-01 2017-10-05 中国科学院遥感与数字地球研究所 时间-空间-光谱四维遥感数据的提取方法
CN107438178A (zh) * 2016-05-25 2017-12-05 掌赢信息科技(上海)有限公司 一种图像色彩矫正方法及电子设备
CN108038409A (zh) * 2017-10-27 2018-05-15 江西高创保安服务技术有限公司 一种行人检测方法
CN108133489A (zh) * 2017-12-21 2018-06-08 燕山大学 一种增强的多层卷积视觉跟踪方法
CN109035188A (zh) * 2018-07-16 2018-12-18 西北工业大学 一种基于目标特征驱动的智能图像融合方法
CN109903348A (zh) * 2018-05-14 2019-06-18 西安科技大学 基于分块特征交互图像色彩编辑方法、数字图像处理系统
CN110991313A (zh) * 2019-11-28 2020-04-10 华中科技大学 一种基于背景分类的运动小目标检测方法和系统
WO2020160606A1 (en) * 2019-02-07 2020-08-13 Commonwealth Scientific And Industrial Research Organisation Diagnostic imaging for diabetic retinopathy
CN112329677A (zh) * 2020-11-12 2021-02-05 北京环境特性研究所 基于特征融合的遥感图像河道目标检测方法和装置
CN112669306A (zh) * 2021-01-06 2021-04-16 北京信息科技大学 一种基于显著图的太阳能电池片缺陷检测方法及系统
CN113034403A (zh) * 2021-04-16 2021-06-25 重庆飞唐网景科技有限公司 医学影像数据通过高斯滤波进行降噪的工作方法
CN113853511A (zh) * 2019-05-21 2021-12-28 奥斯兰姆奥普托半导体股份有限两合公司 用于测量电磁辐射的强度的光电测量设备
CN116503733A (zh) * 2023-04-25 2023-07-28 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090304231A1 (en) * 2008-06-09 2009-12-10 Arcsoft, Inc. Method of automatically detecting and tracking successive frames in a region of interesting by an electronic imaging device
CN102521595A (zh) * 2011-12-07 2012-06-27 中南大学 一种基于眼动数据和底层特征的图像感兴趣区域提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090304231A1 (en) * 2008-06-09 2009-12-10 Arcsoft, Inc. Method of automatically detecting and tracking successive frames in a region of interesting by an electronic imaging device
CN102521595A (zh) * 2011-12-07 2012-06-27 中南大学 一种基于眼动数据和底层特征的图像感兴趣区域提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李业伟: "基于感兴趣区域的图像处理算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, no. 12, 15 December 2012 (2012-12-15), pages 19 - 26 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489013A (zh) * 2013-09-18 2014-01-01 航天科工深圳(集团)有限公司 一种用于电力设备监测的图像识别方法
CN103871053B (zh) * 2014-02-25 2017-02-01 苏州大学 一种基于视觉显著性的布匹瑕疵检测方法
CN103871053A (zh) * 2014-02-25 2014-06-18 苏州大学 一种基于视觉显著性的布匹瑕疵检测方法
CN104077611B (zh) * 2014-07-14 2017-06-09 南京原觉信息科技有限公司 类地重力场环境下室内场景单目视觉空间识别方法
CN104077611A (zh) * 2014-07-14 2014-10-01 金陵科技学院 类地重力场环境下室内场景单目视觉空间识别方法
CN104134211A (zh) * 2014-07-23 2014-11-05 西安工程大学 一种基于高斯滤波器多分辨率滤波的带钢缺陷检测方法
CN104134211B (zh) * 2014-07-23 2017-07-25 西安工程大学 一种基于高斯滤波器多分辨率滤波的带钢缺陷检测方法
CN104299230A (zh) * 2014-09-25 2015-01-21 北京理工大学 一种利用红黑小波变换的图像显著性检测方法
CN104299230B (zh) * 2014-09-25 2017-02-15 北京理工大学 一种利用红黑小波变换的图像显著性检测方法
CN104574405A (zh) * 2015-01-15 2015-04-29 北京天航华创科技股份有限公司 一种基于Lab空间的彩色图像阈值分割方法
CN104574405B (zh) * 2015-01-15 2018-11-13 北京天航华创科技股份有限公司 一种基于Lab空间的彩色图像阈值分割方法
US10740873B2 (en) 2016-04-01 2020-08-11 Institute Of Remote Sesing And Digital Earth, Chinese Academy Of Sciences Extraction method for time-space-spectrum four-dimensional remote sensing data
WO2017166261A1 (zh) * 2016-04-01 2017-10-05 中国科学院遥感与数字地球研究所 时间-空间-光谱四维遥感数据的提取方法
CN107438178A (zh) * 2016-05-25 2017-12-05 掌赢信息科技(上海)有限公司 一种图像色彩矫正方法及电子设备
CN107438178B (zh) * 2016-05-25 2019-02-22 掌赢信息科技(上海)有限公司 一种图像色彩矫正方法及电子设备
CN106485247A (zh) * 2016-09-30 2017-03-08 广西师范大学 基于神经元感受野空间结构的显著性检测方法
CN107154049A (zh) * 2017-05-19 2017-09-12 中国农业科学院农业环境与可持续发展研究所 一种基于颜色信息的蔬菜叶片病斑分割方法及服务器
CN108038409A (zh) * 2017-10-27 2018-05-15 江西高创保安服务技术有限公司 一种行人检测方法
CN108038409B (zh) * 2017-10-27 2021-12-28 江西高创保安服务技术有限公司 一种行人检测方法
CN108133489A (zh) * 2017-12-21 2018-06-08 燕山大学 一种增强的多层卷积视觉跟踪方法
CN109903348A (zh) * 2018-05-14 2019-06-18 西安科技大学 基于分块特征交互图像色彩编辑方法、数字图像处理系统
CN109903348B (zh) * 2018-05-14 2023-11-17 秦皇岛知聚科技有限公司 基于分块特征交互图像色彩编辑方法、数字图像处理系统
CN109035188A (zh) * 2018-07-16 2018-12-18 西北工业大学 一种基于目标特征驱动的智能图像融合方法
CN109035188B (zh) * 2018-07-16 2022-03-15 西北工业大学 一种基于目标特征驱动的智能图像融合方法
WO2020160606A1 (en) * 2019-02-07 2020-08-13 Commonwealth Scientific And Industrial Research Organisation Diagnostic imaging for diabetic retinopathy
CN113853511A (zh) * 2019-05-21 2021-12-28 奥斯兰姆奥普托半导体股份有限两合公司 用于测量电磁辐射的强度的光电测量设备
CN110991313A (zh) * 2019-11-28 2020-04-10 华中科技大学 一种基于背景分类的运动小目标检测方法和系统
CN110991313B (zh) * 2019-11-28 2022-02-15 华中科技大学 一种基于背景分类的运动小目标检测方法和系统
CN112329677A (zh) * 2020-11-12 2021-02-05 北京环境特性研究所 基于特征融合的遥感图像河道目标检测方法和装置
CN112329677B (zh) * 2020-11-12 2024-02-02 北京环境特性研究所 基于特征融合的遥感图像河道目标检测方法和装置
CN112669306A (zh) * 2021-01-06 2021-04-16 北京信息科技大学 一种基于显著图的太阳能电池片缺陷检测方法及系统
CN113034403B (zh) * 2021-04-16 2021-11-16 北京和信康科技有限公司 医学影像数据通过高斯滤波进行降噪的工作方法
CN113034403A (zh) * 2021-04-16 2021-06-25 重庆飞唐网景科技有限公司 医学影像数据通过高斯滤波进行降噪的工作方法
CN116503733A (zh) * 2023-04-25 2023-07-28 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质
CN116503733B (zh) * 2023-04-25 2024-02-06 北京卫星信息工程研究所 遥感图像目标检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN103247059B (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
CN103247059B (zh) 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法
CN103177458B (zh) 一种基于频域分析的可见光遥感图像感兴趣区域检测方法
CN104778721B (zh) 一种双目图像中显著性目标的距离测量方法
CN104392463B (zh) 一种基于联合稀疏多尺度融合的图像显著区域检测方法
CN101551863B (zh) 基于非下采样轮廓波变换的遥感图像道路提取方法
CN103971123B (zh) 基于线性回归与Fisher判别字典学习的高光谱图像分类方法
CN104299232B (zh) 一种基于自适应窗方向波域和改进fcm的sar图像分割方法
CN103279957A (zh) 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法
CN107527023B (zh) 基于超像素和主题模型的极化sar图像分类方法
CN104680180B (zh) 基于k均值和稀疏自编码的极化sar图像分类方法
CN111027497B (zh) 基于高分辨率光学遥感影像的弱小目标快速检测方法
CN105512622B (zh) 一种基于图分割和监督学习的可见光遥感图像海陆分割方法
CN103996195A (zh) 一种图像显著性检测方法
CN103761526B (zh) 一种基于特征位置优选整合的城区检测方法
CN104036289A (zh) 一种基于空间-光谱特征和稀疏表达的高光谱图像分类方法
CN106446936A (zh) 基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法
CN102063627B (zh) 基于多小波变换的自然图像和计算机生成图像的识别方法
CN109284786A (zh) 基于分布和结构匹配生成对抗网络的sar图像地物分类方法
CN106124050B (zh) 一种基于子空间的高光谱亚像元目标盲提取检测方法
Casanova et al. Texture analysis using fractal descriptors estimated by the mutual interference of color channels
CN107895139A (zh) 一种基于多特征融合的sar图像目标识别方法
CN103544488B (zh) 一种人脸识别方法及装置
CN107944470A (zh) 基于轮廓波fcn‑crf的sar图像分类方法
CN102999761A (zh) 基于Cloude分解和K-wishart分布的极化SAR图像分类方法
CN103390170A (zh) 一种基于多光谱遥感图像纹理元的地物类型纹理分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160217

CF01 Termination of patent right due to non-payment of annual fee