CN103279957A - 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法 - Google Patents

一种基于多尺度特征融合的遥感图像感兴趣区域提取方法 Download PDF

Info

Publication number
CN103279957A
CN103279957A CN2013102101271A CN201310210127A CN103279957A CN 103279957 A CN103279957 A CN 103279957A CN 2013102101271 A CN2013102101271 A CN 2013102101271A CN 201310210127 A CN201310210127 A CN 201310210127A CN 103279957 A CN103279957 A CN 103279957A
Authority
CN
China
Prior art keywords
remote sensing
significantly
multiple dimensioned
yardstick
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102101271A
Other languages
English (en)
Other versions
CN103279957B (zh
Inventor
张立保
李�浩
杨凯娜
丘兵昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN201310210127.1A priority Critical patent/CN103279957B/zh
Publication of CN103279957A publication Critical patent/CN103279957A/zh
Application granted granted Critical
Publication of CN103279957B publication Critical patent/CN103279957B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度特征融合的遥感图像感兴趣区域提取方法,属于遥感图像处理技术领域。包括:1、采用基于多尺度谱残差的显著性分析方法生成遥感图像的多尺度低频显著图;2、利用整数小波变换获取水平、垂直和对角线方向的多尺度高频显著图;3、利用跨尺度加权与跨尺度融合得到亮度显著图与方向显著图;4、合并两个显著图生成主显著图;5、通过最大类间方差法进行阈值分割提取感兴趣区域。与传统方法相比,本发明具有较低计算复杂度,有效提高了区域提取的效率与准确度。由于不需要获取遥感图像的光谱与颜色信息,可直接用于高分辨率全色遥感图像的感兴趣区域提取。在土地规划、环境监测与林业调查等领域具有很好的应用价值。

Description

一种基于多尺度特征融合的遥感图像感兴趣区域提取方法
技术领域
本发明属于遥感图像处理技术领域,是一种基于多尺度特征融合的遥感图像感兴趣区域提取方法。
背景技术
随着遥感图像空间分辨率的迅速升高,对海量遥感数据分析与处理的时间急剧增加,研究更加高效、快速的遥感图像处理方法已经成为迫在眉睫的课题,而“将遥感图像中人们感兴趣的区域准确提取,然后有针对性的分析处理”为有效降低海量遥感数据分析处理的复杂度,减少处理时间提供了很好的思路,也是目前遥感图像处理技术领域的研究热点。
视觉注意方法由于具有无需先验知识,提取感兴趣区域快速准确等优势,受到越来越多的关注。Itti等人在文章“A model of saliency-based visual attention for rapid scene analysis”中提出了具有代表性ITTI视觉注意方法。除此之外,还有学者提出了完全基于数学运算的视觉注意方法,如Hou在文章“″Saliency Detection:A Spectral Residual Approach”中提出的谱残差(SR)的方法。也有学者结合视觉注意的生理学基础和数学理论,提出了混合的视觉注意方法,其中具有代表性的是Harel等人在文章“Graph-based visual saliency”中提出的基于图论(GBVS)的方法。
小波变换因具有多尺度分析特性与较强的方向纹理描绘能力,已被广泛应用于图像的分析与处理领域,尤其是基于提升框架的整数小波,不仅继承了传统小波变换的优点,而且计算过程更为简单,无需额外存储空间,能够实现无损的整数变换。当前,已有学者将小波变换引入到视觉方法建模之中。例如,Nevrez等人在文章“A Saliency Detection Model UsingLow-Level Features Based on Wavelet Transform”中提出了一种基于图像低级特征和小波变换的视觉注意方法(WT),实现了小波变换与经典视觉注意理论的有效结合。
上述视觉注意方法虽然具有许多优点,但是直接应用于遥感图像,尤其是高空间分辨率遥感图像中却存在诸多弊端。例如,ITTI方法和GBVS方法产生的显著图分辨率过低,以至于无法实现对遥感图像感兴趣区域的精确描述,会漏检许多重要的区域。WT方法产生了与原图大小相同的显著图,但是显著图中包含许多碎片化区域。SR方法将原始图像缩小到64×64像素再进行谱残差计算,依托单一的低尺度图像生成显著图,虽然有利于对感兴趣区域的快速提取,但是会导致区域边缘过于模糊,使得感兴趣区域提取的准确度大幅降低。此外,遥感图像中包含了大量的边缘与纹理等信息,通常情况下,边缘与纹理越丰富的区域越可能成为感兴趣区域,上述方法对于遥感图像中的边缘与纹理信息检测并不理想,也加剧了对感兴趣区域的漏检、误检现象。
另一方面,目前得到广泛研究的视觉注意方法对于多尺度显著图的融合大部分采用插值到特定尺度再直接相加的方式,使得尺寸较大的感兴趣区域在显著图中不断被强化,而尺寸较小的感兴趣区域显著性则不断被削弱,可能导致无法检出。此外,尺度越粗糙,则区域的边缘会越模糊,因此,有必要对精细尺度的显著图进行增强,而对粗糙尺度的显著图进行抑制。
发明内容
由于谱残差方法不需要图像的颜色信息而且对纹理信息比较敏感,所以可以将此方法推广应用于全色遥感图像的感兴趣区域提取中。谱残差方法依托单一的低尺度图像生成显著图,虽然有利于对感兴趣区域的快速提取,但是会导致区域边缘过于模糊,使得感兴趣区域提取的准确度大幅降低。为了克服上述现有技术的不足,本发明提供了一种基于多尺度特征融合的遥感图像感兴趣区域提取方法。本发明的目的在于:
1)对谱残差方法进行改进,提出一种新的多尺度谱残差的显著性分析方法,使其能满足高空间分辨率全色遥感图像的感兴趣区域提取的应用要求;
2)构建合理的跨尺度加权和跨尺度融合算法,对精细尺度的显著图进行增强,而对粗糙尺度的显著图进行抑制,从而增强感兴趣区域的显著性,能够较为精确地描述与提取感兴趣区域。
本方法采用的技术方案为首先采用基于多尺度谱残差的显著性分析方法生成遥感图像的多尺度低频显著图,然后利用整数小波变换获取遥感图像水平、垂直和对角线方向的多尺度高频显著图,接着利用跨尺度加权与跨尺度融合策略得到亮度显著图与方向显著图,并合并两个显著图生成主显著图,最后通过最大类间方差法进行阈值分割提取最终的感兴趣区域,具体包括以下几个步骤:
步骤一:利用n级高斯金字塔获得遥感图像的多尺度低频分量,构成多尺度亮度特征图,然后采用基于多尺度谱残差(MSSR,Multi-Scale Spectral Residual)的显著性分析方法对每一个尺度上的亮度特征图做谱残差计算,提取相应的视觉显著信息,最终构成遥感图像的多尺度低频显著图。具体过程为:
1)对输入的遥感图像做高斯金字塔处理,即对图像做高斯低通滤波,并进行空间降维,高斯金字塔分解会产生一系列分辨率逐步降低的多尺度图像组
Figure BSA00000904328800021
Figure BSA00000904328800022
2)采用基于多尺度谱残差的显著性分析方法分别对多尺度图像组
Figure BSA00000904328800023
的每一个尺度上的图像做谱残差计算,谱残差计算的具体过程包括:
①对输入图像做傅里叶变换,计算变换后图像的幅度谱A(f)和相位谱P(f);
②相位谱保持不变,对幅度谱进行取对数处理,即:
L(f)=log(A(f))
得到输入图像的对数幅度谱;
③计算对数幅度谱与平均对数幅度谱之间的差,得到谱残差结果,即:
R ( f ) = L ( f ) - A ‾ ( f )
其中
Figure BSA00000904328800025
表示对L(f)进行均值滤波后得到平均对数幅度谱,R(f)表示谱残差;
④最后通过傅里叶反变换与高斯低通滤波得到输入图像的视觉显著信息:
Figure BSA00000904328800026
其中
Figure BSA00000904328800027
代表傅里叶反变换,g(x)为高斯低通滤波器;
3)提取每一个尺度上亮度特征图的视觉显著信息,从而构成图像的多尺度低频显著图。
步骤二:利用跨尺度加权方法对不同尺度的低频显著图进行加权运算,即首先计算所有尺度显著图的最大值M,然后将所有尺度的显著图标准化至一个固定的区间[0,M],接着分别计算每个尺度下显著图的平均值
Figure BSA00000904328800028
i=1,2…n,最后将每幅显著图分别乘以加权因子
Figure BSA00000904328800031
得到跨尺度加权运算结果。
步骤三:将跨尺度加权运算的结果进行跨尺度融合,即将不同尺度的加权运算结果调整为原始输入遥感图像大小,然后做点对点相加,得到亮度显著图
Figure BSA00000904328800032
步骤四:利用整数小波变换对原始遥感图像进行n级分解,将所有尺度下的水平、垂直和对角线方向高频分量提取出来,生成水平、垂直和对角线方向的小波金字塔,即多尺度方向特征图。
步骤五:分别对水平、垂直和对角线方向的小波金字塔进行小波系数筛选,即对每个方向上的多尺度方向特征图进行阈值截断与低通滤波处理,得到水平、垂直和对角线方向的多尺度高频显著图。
步骤六:生成方向显著图
Figure BSA00000904328800033
即首先分别对水平、垂直和对角线方向的高频显著图完成如步骤二所述的跨尺度加权运算,然后在同一尺度上将三个方向的加权运算结果相加,得到一组新的包含了三个方向信息的多尺度高频特征图,最后将多尺度高频特征图进行如步骤三所述的跨尺度融合运算,得到方向显著图
步骤七:将步骤三所述的亮度显著图
Figure BSA00000904328800035
和步骤六所述的方向显著图
Figure BSA00000904328800036
标准化到区间[0,1],然后直接相加得到最终的主显著图S。
步骤八:通过最大类间方差法得到主显著图S的分割阈值,利用该阈值将主显著图分割为一幅二值图像模板,用“1”代表感兴趣区域,用“0”代表非感兴趣区域,最后将二值图像模板与原始图像相乘得到最终的感兴趣区域提取结果。
与传统方法相比,本发明具有较低计算复杂度,有效提高了区域提取的效率与准确度。对于实时处理有很高的实用价值。由于不需要获取遥感图像的光谱与颜色信息,可直接用于高分辨率全色遥感图像的感兴趣区域提取。在土地规划、环境监测与林业调查等领域具有很好的应用价值。
本发明的研究工作得到了国家自然科学基金项目(61071103)与中央高校基本科研业务费专项资金(2012LYB50)的资助。
附图说明
图1为本发明方法的流程图;
图2为图像经三级整数小波分解后的低频分量及其谱残差结果示例。(a)为原始图像,(b)为一级小波分解后的低频分量,(c)为二级小波分解后的低频分量,(d)为三级小波分解后的低频分量,(e)到(g)分别为(b)到(d)的谱残差结果;
图3为图像经三级高斯金字塔处理后的结果及其谱残差结果示例。(a)为原始图像,(b)为金字塔第一级,(c)为金字塔第二级,(d)为金字塔第三级,(e)到(g)分别为(b)到(d)的谱残差结果;
图4为ITTI方法、GBVS方法、SR方法、WT方法和本发明方法生成的显著图比较结果。(a)为原始图,(b)为ITTI方法生成的显著图,(c)为GBVS方法生成的显著图,(d)为SR方法生成的显著图,(e)为WT方法生成的显著图,(f)为本发明方法生成的显著图;
图5为ITTI方法、GBVS方法、SR方法、WT方法和本发明方法生成的感兴趣区域比较结果。(a)为原始图,(b)为ITTI方法生成的感兴趣区域,(c)为GBVS方法生成的感兴趣区域,(d)为SR方法生成的感兴趣区域,(e)为WT方法生成的感兴趣区域,(f)为本发明方法生成的感兴趣区域;
图6为ITTI方法、GBVS方法、SR方法、WT方法和本发明方法的ROC曲线比较图;
图7为ITTI方法、GBVS方法、SR方法、WT方法和本发明方法的ROC面积结果比较图;
图8为WT方法和本发明方法的处理运行时间对比结果图。
具体实施方式
下面结合附图对本发明进一步说明。图1显示了本发明方法的流程图,现介绍每一步实现细节。
步骤一:利用n级高斯金字塔获得遥感图像的多尺度低频分量,构成多尺度亮度特征图,然后采用基于多尺度谱残差(MSSR,Multi-Scale Spectral Residual)的显著性分析方法对每一个尺度上的亮度特征图做谱残差计算,提取相应的视觉显著信息,最终构成遥感图像的多尺度低频显著图。
此步骤中首先对输入的全色遥感图像做高斯金字塔处理,即对图像做高斯低通滤波,并进行空间降维。高斯金字塔分解会产生一系列分辨率逐步降低的图像
Figure BSA00000904328800041
Figure BSA00000904328800042
然后对不同尺度下的全色遥感图像做谱残差计算。
谱残差理论认为,如果输入图像为I,其傅里叶变换后的幅度谱为A(f),相位谱为P(f)。相位谱保持不变,对幅度谱进行取对数处理。定义图像的对数幅度谱为L(f)=log(A(f)),只要计算图像的对数幅度谱与平均对数幅度谱之间的差,即可得到谱残差结果,用公式表示如下:
R ( f ) = L ( f ) - A ‾ ( f )
其中R(f)表示谱残差,
Figure BSA00000904328800044
表示平均对数幅度谱,在实际实现时,通过将L(f)进行3×3均值滤波后得到
Figure BSA00000904328800045
然后再进行傅里叶反变换与高斯低通滤波得到显著图:
Figure BSA00000904328800046
其中
Figure BSA00000904328800047
代表傅里叶反变换,g(x)为高斯低通滤波器。
定义函数SR(·)为获得谱残差显著图的过程,通过将SR(·)作用于
Figure BSA00000904328800048
的每一层级,我们可以得到不同尺度之下的谱残差显著图
Figure BSA00000904328800049
最终得到亮度显著图金字塔
Figure BSA000009043288000410
即多尺度低频显著图:
Figure BSA000009043288000411
Figure BSA000009043288000412
Figure BSA000009043288000413
如果直接利用(5,3)内插双线性整数小波变换即内插双正交整数小波变换(IB-IWT)提取图像的低频子带信息,然后将此低频部分做谱残差处理,虽然方法计算简单,存储开销少,但是在实验中我们发现,提取效果只能说是差强人意,这主要是由(5,3)提升整数小波变换的低频分量的失真引起的。图2显示了三级提升整数小波分解的低频分量,我们可以看见,从二级小波分解开始,低频分量在视觉上与原始图像的差别开始加大,几乎无法很好地区分感兴趣区域和背景信息,这会对谱残差的结果产生不良影响。
高斯金字塔的各层级与原始图像在视觉上有更强的相似性,相应的谱残差结果也更好,如图3所示,相比于图2所示的谱残差结果,图3中的结果能够更有效的消除背景信息的干扰。
步骤二:利用跨尺度加权方法对不同尺度的低频显著图进行加权运算。
本发明提出了一种新的跨尺度加权方法,记为函数W(·),其计算步骤包括:
1)计算所有尺度显著图的最大值M;
2)将所有尺度的显著图标准化至一个固定的区间[0,M];
3)分别计算每个尺度下显著图的平均值
Figure BSA00000904328800051
i=1,2…n;
4)将每幅显著图分别乘以加权因子
Figure BSA00000904328800052
得到跨尺度加权运算结果。
由于精细尺度下的显著图往往只包含细小的感兴趣区域,因此平均亮度较低,而粗糙尺度由于分辨率较低而且体现的区域较大因而平均亮度较高,因此上述方法能够有效增强精细尺度下的感兴趣区域并且抑制粗糙尺度下的感兴趣区域。
步骤三:将跨尺度加权运算的结果进行跨尺度融合,公式如下:
Figure BSA00000904328800053
其中
Figure BSA00000904328800054
为跨尺度融合算子,即将不同尺度的加权运算结果调整为原始输入遥感图像大小,然后做点对点相加,得到亮度显著图
步骤四:利用整数小波变换对原始遥感图像进行n级分解,将所有尺度下的水平、垂直和对角线方向高频分量提取出来,生成水平、垂直和对角线方向的小波金字塔,即多尺度方向特征图。
图像的方向特征通过(5,3)内插双线性整数小波变换即内插双正交整数小波变换(IB-IWT)来提取。我们将全色遥感图进行n级小波分解:
Figure BSA00000904328800056
Figure BSA00000904328800057
Figure BSA00000904328800058
A0=L
其中h为图像较短的一条边,为低频分量,
Figure BSA000009043288000510
Figure BSA000009043288000511
Figure BSA000009043288000512
分别为水平方向,垂直方向和对角线方向的高频分量。这样就得到了四组整数小波金字塔:
Figure BSA000009043288000513
Figure BSA000009043288000514
Figure BSA000009043288000515
Figure BSA000009043288000516
这四组小波金字塔将图像将图像分解为低频部分
Figure BSA000009043288000517
和水平、垂直和对角线三个方向的高频部分
Figure BSA000009043288000518
根据步骤一所述原因舍弃低频部分。而对于高频部分,我们直接利用小波系数得到三个方向的小波金字塔即多尺度方向特征图。
步骤五:分别对水平、垂直和对角线方向的小波金字塔进行小波系数筛选,即对每个方向上的多尺度方向特征图进行阈值截断与低通滤波处理,得到水平、垂直和对角线方向的多尺度高频显著图。
针对水平方向高频子带小波系数金字塔
Figure BSA00000904328800061
(其中
Figure BSA00000904328800062
为金字塔的阶数,n为之前所述的n级小波分解),可以通过如下步骤对每一层小波系数进行处理:
1)找到图像
Figure BSA00000904328800063
的极大值M,
2)筛除各高频子带中代表细小且无价值区域的小波系数,这里采用将图像中所有小于M/10的系数置零:
Figure BSA00000904328800064
3)将
Figure BSA00000904328800065
标准化到区间[0,1],记为
4)使用3×3的空域高斯低通滤波器模板G对
Figure BSA00000904328800067
进行低通滤波:
Figure BSA00000904328800068
上述步骤处理后的水平方向高频子带小波系数记为
Figure BSA00000904328800069
对于垂直方向与对角线方向高频子带小波系数也进行同样的处理,得到
Figure BSA000009043288000610
Figure BSA000009043288000611
分别代表上述步骤处理后的垂直方向与对角线方向高频子带小波系数。
Figure BSA000009043288000612
Figure BSA000009043288000613
Figure BSA000009043288000614
为图像多尺度高频显著图。
步骤六:生成方向显著图
Figure BSA000009043288000615
即首先分别对水平、垂直和对角线方向的高频显著图完成如步骤二所述的跨尺度加权运算,然后在同一尺度上将三个方向的加权运算结果相加,得到一组新的包含了三个方向信息的多尺度高频特征图,最后将多尺度高频特征图进行如步骤三所述的跨尺度融合运算,得到方向显著图
Figure BSA000009043288000616
Figure BSA000009043288000617
其中
Figure BSA000009043288000618
为跨尺度融合算子,其计算方法为将图像调整为原始输入遥感图像的大小,然后做点对点相加。
步骤七:将步骤三所述的亮度显著图
Figure BSA000009043288000619
和步骤六所述的方向显著图
Figure BSA000009043288000620
标准化到区间[0,1],然后直接相加得到最终的主显著图S:
S = N ( I ‾ + E ‾ )
其中N(·)表示将图像标准化到区间[0,1]。
步骤八:通过最大类间方差法得到主显著图S的分割阈值,利用该阈值将主显著图分割为一幅二值图像模板,用“1”代表感兴趣区域,用“0”代表非感兴趣区域,最后将二值图像模板与原始图像相乘得到最终的感兴趣区域提取结果。
本发明的效果可通过以下实验结果与分析进一步说明:
为了评价本发明方法的性能,我们设计了如下的对比实验,实验包括定性实验和定量实验,选取了ITTI方法,GBVS方法,SR方法,WT方法与本发明方法进行性能对比。
实验所用数据为来自SPOT5卫星的北京市郊区遥感图,我们从图中剪切了一幅2048×2048大小的全色遥感图像作为实验数据,没有利用光谱颜色信息。实验环境如下:
处理器PentiumTM G6302.7GHz
系统内存4Gb
操作系统Windows7Ultimate,64-bit
1)定性实验分析
图4和图5分别显示了五种方法生成的显著图比较结果和感兴趣区域比较结果。ITTI,GBVS和SR方法产生的显著图分辨率过低,以至于提取结果中无法实现对于感兴趣区域的精确描述。由于颜色信息的缺失,这三种方法都不同程度地引入了较多的背景信息,同时存在不同程度的漏检问题。剩余两种方法都产生了与原图大小相同的显著图,因此图中也包含了更多的细节和清晰的边缘。但是同时我们也看到WT方法的显著图中包含一些碎片化的区域,这些区域对应于原始图像中的背景信息,而且相比于本发明方法的显著图,WT方法的显著图的对比度不高,这对感兴趣区域的提取带来一定的影响。但是同时我们也应该看见WT方法能够对边缘进行更精细的描述,这与其单一尺度的计算方法有关。本发明方法对于整个区域的凸显能力较强,能够较为精确地描述与提取感兴趣区域。
2)定量实验分析
为了更加客观地评价方法的性能,我们使用受试者工作特性曲线(Receiver OperatorCurve,ROC)来对方法进行定量的性能评估。ROC曲线被广泛应用于二分类分类效果的评估,其基本原理是通过判断点的移动,得到一系列击中率(Hit Rate)和误识率(False PositiveRate),然后以误识率为横轴,击中率为纵轴绘制曲线。其中击中率定义为将实际上为真判断为真的概率,误识率定义为将实际上为假判断为真的概率。ROC曲线下方的面积(AUC)越大,说明方法的性能越可靠,AUC的值在1.0和0.5之间,当0.5<AUC<0.7时,方法具有较低的准确性,当0.7<AUC<0.9时方法具有一定的准确性,当AUC>0.9时方法具有较高的准确性,当AUC=0.5时说明该方法没有起到作用。
我们随机选取了100幅分辨率为2048×2048的遥感图像作为实验数据库,针对每一幅图像,通过人工目视判别对感兴趣区进行分割作为评判标准,然后分别用这五种方法对图像进行处理,得到显著图,通过计算在不同阈值之下,显著图的分割结果的击中率和误识率来绘制ROC曲线。图6和图7分别显示了五种方法的ROC曲线以及ROC面积结果,从ROC曲线实验结果来看,本发明方法具有最大的AUC,说明其性能最好。另外一种值得注意的结果是处理时间。从ROC曲线可以看出,WT方法和本发明方法具有比较接近的性能,为此,我们将这两种方法的运行时间进行对比,结果如图8所示。本发明方法处理2048×2048大小的图像仅需5.21秒,而WT方法则需要152.66秒,是本发明方法的近30倍,本发明方法的时间复杂度大大小于WT方法。

Claims (2)

1.一种基于多尺度特征融合的遥感图像感兴趣区域提取方法,本方法首先采用基于多尺度谱残差的显著性分析方法生成遥感图像的多尺度低频显著图,然后利用整数小波变换获取遥感图像水平、垂直和对角线方向的多尺度高频显著图,接着利用跨尺度加权与跨尺度融合策略得到亮度显著图与方向显著图,并合并两个显著图生成主显著图,最后通过最大类间方差法进行阈值分割提取最终的感兴趣区域,本发明的特征在于,具体包括以下几个步骤:
步骤一:利用n级高斯金字塔获得遥感图像的多尺度低频分量,构成多尺度亮度特征图,然后采用基于多尺度谱残差(MSSR,Multi-Scale Spectral Residual)的显著性分析方法对每一个尺度上的亮度特征图做谱残差计算,提取相应的视觉显著信息,最终构成遥感图像的多尺度低频显著图;
步骤二:利用跨尺度加权方法对不同尺度的低频显著图进行加权运算,即首先计算所有尺度显著图的最大值M,然后将所有尺度的显著图标准化至一个固定的区间[0,M],接着分别计算每个尺度下显著图的平均值
Figure FSA00000904328700011
i=1,2…n,最后将每幅显著图分别乘以加权因子得到跨尺度加权运算结果;
步骤三:将跨尺度加权运算的结果进行跨尺度融合,即将不同尺度的加权运算结果调整为原始输入遥感图像大小,然后做点对点相加,得到亮度显著图
步骤四:利用整数小波变换对原始遥感图像进行n级分解,将所有尺度下的水平、垂直和对角线方向高频分量提取出来,生成水平、垂直和对角线方向的小波金字塔,即多尺度方向特征图;
步骤五:分别对水平、垂直和对角线方向的小波金字塔进行小波系数筛选,即对每个方向上的多尺度方向特征图进行阈值截断与低通滤波处理,得到水平、垂直和对角线方向的多尺度高频显著图;
步骤六:生成方向显著图
Figure FSA00000904328700014
即首先分别对水平、垂直和对角线方向的高频显著图完成如步骤二所述的跨尺度加权运算,然后在同一尺度上将三个方向的加权运算结果相加,得到一组新的包含了三个方向信息的多尺度高频特征图,最后将多尺度高频特征图进行如步骤三所述的跨尺度融合运算,得到方向显著图
Figure FSA00000904328700015
步骤七:将步骤三所述的亮度显著图和步骤六所述的方向显著图
Figure FSA00000904328700017
标准化到区间[0,1],然后直接相加得到最终的主显著图S;
步骤八:通过最大类间方差法得到主显著图S的分割阈值,利用该阈值将主显著图分割为一幅二值图像模板,用“1”代表感兴趣区域,用“0”代表非感兴趣区域,最后将二值图像模板与原始图像相乘得到最终的感兴趣区域提取结果。
2.根据权利要求1所述的一种基于多尺度特征融合的遥感图像感兴趣区域提取方法,其特征在于,所述步骤一的具体过程为:
1)对输入的遥感图像做高斯金字塔处理,即对图像做高斯低通滤波,并进行空间降维,高斯金字塔分解会产生一系列分辨率逐步降低的多尺度图像组
Figure FSA00000904328700019
2)采用基于多尺度谱残差的显著性分析方法分别对多尺度图像组
Figure FSA000009043287000110
的每一个尺度上的图像做谱残差计算,谱残差计算的具体过程包括:
①对输入图像做傅里叶变换,计算变换后图像的幅度谱A(f)和相位谱P(f);
②相位谱保持不变,对幅度谱进行取对数处理,即:
L(f)=log(A(f))
得到输入图像的对数幅度谱;
③计算对数幅度谱与平均对数幅度谱之间的差,得到谱残差结果,即:
R ( f ) = L ( f ) - A ‾ ( f )
其中
Figure FSA00000904328700022
表示对L(f)进行均值滤波后得到平均对数幅度谱,R(f)表示谱残差;
④最后通过傅里叶反变换与高斯低通滤波得到输入图像的视觉显著信息:
Figure FSA00000904328700023
其中
Figure FSA00000904328700024
代表傅里叶反变换,g(x)为高斯低通滤波器;
3)提取每一个尺度上亮度特征图的视觉显著信息,从而构成图像的多尺度低频显著图。
CN201310210127.1A 2013-05-31 2013-05-31 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法 Expired - Fee Related CN103279957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310210127.1A CN103279957B (zh) 2013-05-31 2013-05-31 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310210127.1A CN103279957B (zh) 2013-05-31 2013-05-31 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法

Publications (2)

Publication Number Publication Date
CN103279957A true CN103279957A (zh) 2013-09-04
CN103279957B CN103279957B (zh) 2015-11-25

Family

ID=49062464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310210127.1A Expired - Fee Related CN103279957B (zh) 2013-05-31 2013-05-31 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法

Country Status (1)

Country Link
CN (1) CN103279957B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899893A (zh) * 2015-07-01 2015-09-09 电子科技大学 基于视觉注意力的图像质量检测方法
CN104951800A (zh) * 2015-06-15 2015-09-30 许昌学院 一种面向资源开采型地区的遥感影像融合方法
CN105528783A (zh) * 2015-12-01 2016-04-27 上海电机学院 多层次紧致纹理特征提取方法以及图像纹理分割方法
CN106507052A (zh) * 2016-11-24 2017-03-15 深圳凯达通光电科技有限公司 一种基于手机客户端实现的智能实时监控系统
CN106558050A (zh) * 2015-09-24 2017-04-05 南京大学 一种基于自适应三阈值的显著物体分割方法
CN104200429B (zh) * 2014-08-19 2017-05-17 南京理工大学 一种傅立叶域图像显著性信息的变密度压缩采样方法
CN106845423A (zh) * 2017-01-24 2017-06-13 北京建筑大学 一种高分辨遥感影像建筑物自动提取的方法
CN107067378A (zh) * 2017-03-14 2017-08-18 中国农业大学 一种人体运动序列降噪方法及装置
CN108364273A (zh) * 2018-01-30 2018-08-03 中南大学 一种空间域下的多聚焦图像融合的方法
CN108830330A (zh) * 2018-06-22 2018-11-16 西安电子科技大学 基于自适应特征融合残差网的多光谱图像分类方法
CN110047058A (zh) * 2019-03-25 2019-07-23 杭州电子科技大学 一种基于残差金字塔的图像融合方法
CN112700438A (zh) * 2021-01-14 2021-04-23 成都铁安科技有限责任公司 一种列车车轴镶入部位超声判伤方法及其系统
CN112733693A (zh) * 2021-01-04 2021-04-30 武汉大学 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN112767471A (zh) * 2021-01-04 2021-05-07 湖南大学 一种基于图像特征提取的轮胎接地面积测量方法及装置
CN113160152A (zh) * 2021-04-06 2021-07-23 湖北工业大学 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法
CN113379818A (zh) * 2021-05-24 2021-09-10 四川大学 一种基于多尺度注意力机制网络的相位解析方法
CN113591754A (zh) * 2018-11-16 2021-11-02 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN113870298A (zh) * 2021-09-07 2021-12-31 中国人民解放军海军航空大学 一种水面目标阴影的提取方法、装置、电子设备和存储介质
CN113936197A (zh) * 2021-09-30 2022-01-14 中国人民解放军国防科技大学 一种基于视觉显著性对图像进行目标检测的方法和系统
CN114037747A (zh) * 2021-11-25 2022-02-11 佛山技研智联科技有限公司 图像特征提取方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103818A1 (en) * 2002-01-10 2009-04-23 Kathrin Berkner Header-based processing of images compressed using multi-scale transforms
CN101789005A (zh) * 2010-01-22 2010-07-28 深圳创维数字技术股份有限公司 一种基于感兴趣区域的图像检索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103818A1 (en) * 2002-01-10 2009-04-23 Kathrin Berkner Header-based processing of images compressed using multi-scale transforms
CN101789005A (zh) * 2010-01-22 2010-07-28 深圳创维数字技术股份有限公司 一种基于感兴趣区域的图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张立保: "基于双阈值视觉注意模型的图像关注焦点检测", 《强激光与粒子束》, vol. 23, no. 3, 31 March 2011 (2011-03-31), pages 617 - 624 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200429B (zh) * 2014-08-19 2017-05-17 南京理工大学 一种傅立叶域图像显著性信息的变密度压缩采样方法
CN104951800A (zh) * 2015-06-15 2015-09-30 许昌学院 一种面向资源开采型地区的遥感影像融合方法
CN104899893B (zh) * 2015-07-01 2019-03-19 电子科技大学 基于视觉注意力的图像质量检测方法
CN104899893A (zh) * 2015-07-01 2015-09-09 电子科技大学 基于视觉注意力的图像质量检测方法
CN106558050A (zh) * 2015-09-24 2017-04-05 南京大学 一种基于自适应三阈值的显著物体分割方法
CN105528783A (zh) * 2015-12-01 2016-04-27 上海电机学院 多层次紧致纹理特征提取方法以及图像纹理分割方法
CN106507052A (zh) * 2016-11-24 2017-03-15 深圳凯达通光电科技有限公司 一种基于手机客户端实现的智能实时监控系统
CN106845423B (zh) * 2017-01-24 2020-09-08 北京建筑大学 一种高分辨遥感影像建筑物自动提取的方法
CN106845423A (zh) * 2017-01-24 2017-06-13 北京建筑大学 一种高分辨遥感影像建筑物自动提取的方法
CN107067378A (zh) * 2017-03-14 2017-08-18 中国农业大学 一种人体运动序列降噪方法及装置
CN108364273A (zh) * 2018-01-30 2018-08-03 中南大学 一种空间域下的多聚焦图像融合的方法
CN108364273B (zh) * 2018-01-30 2022-02-25 中南大学 一种空间域下的多聚焦图像融合的方法
CN108830330A (zh) * 2018-06-22 2018-11-16 西安电子科技大学 基于自适应特征融合残差网的多光谱图像分类方法
CN108830330B (zh) * 2018-06-22 2021-11-02 西安电子科技大学 基于自适应特征融合残差网的多光谱图像分类方法
CN113591754B (zh) * 2018-11-16 2022-08-02 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN113591754A (zh) * 2018-11-16 2021-11-02 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN110047058B (zh) * 2019-03-25 2021-04-30 杭州电子科技大学 一种基于残差金字塔的图像融合方法
CN110047058A (zh) * 2019-03-25 2019-07-23 杭州电子科技大学 一种基于残差金字塔的图像融合方法
CN112767471A (zh) * 2021-01-04 2021-05-07 湖南大学 一种基于图像特征提取的轮胎接地面积测量方法及装置
CN112733693A (zh) * 2021-01-04 2021-04-30 武汉大学 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN112767471B (zh) * 2021-01-04 2024-03-29 湖南大学 一种基于图像特征提取的轮胎接地面积测量方法及装置
CN112700438A (zh) * 2021-01-14 2021-04-23 成都铁安科技有限责任公司 一种列车车轴镶入部位超声判伤方法及其系统
CN113160152A (zh) * 2021-04-06 2021-07-23 湖北工业大学 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法
CN113160152B (zh) * 2021-04-06 2023-09-15 湖北工业大学 一种基于图像融合和阈值分割的冷冻电镜单颗粒挑选方法
CN113379818A (zh) * 2021-05-24 2021-09-10 四川大学 一种基于多尺度注意力机制网络的相位解析方法
CN113379818B (zh) * 2021-05-24 2022-06-07 四川大学 一种基于多尺度注意力机制网络的相位解析方法
CN113870298A (zh) * 2021-09-07 2021-12-31 中国人民解放军海军航空大学 一种水面目标阴影的提取方法、装置、电子设备和存储介质
CN113936197A (zh) * 2021-09-30 2022-01-14 中国人民解放军国防科技大学 一种基于视觉显著性对图像进行目标检测的方法和系统
CN114037747A (zh) * 2021-11-25 2022-02-11 佛山技研智联科技有限公司 图像特征提取方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN103279957B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
CN103279957B (zh) 一种基于多尺度特征融合的遥感图像感兴趣区域提取方法
CN107358258B (zh) 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
Kobylin et al. Comparison of standard image edge detection techniques and of method based on wavelet transform
CN103247059B (zh) 一种基于整数小波与视觉特征的遥感图像感兴趣区检测方法
Riche et al. Rare: A new bottom-up saliency model
Zhang et al. Multi-focus image fusion algorithm based on focused region extraction
CN106530281B (zh) 基于边缘特征的无人机图像模糊判断方法及系统
CN109919870B (zh) 一种基于bm3d的sar图像相干斑抑制方法
Zhang et al. Infrared small target detection based on spatial-temporal enhancement using quaternion discrete cosine transform
WO2022141145A1 (zh) 面向对象的高分辨率遥感影像多尺度分割方法及系统
CN107203973A (zh) 一种三维激光扫描系统中线激光中心的亚像素定位方法
CN108399424B (zh) 一种点云分类方法、智能终端及存储介质
CN104200471A (zh) 基于自适应权值图像融合的sar图像变化检测方法
CN104484890A (zh) 基于复合稀疏模型的视频目标跟踪方法
CN102930538B (zh) 高斯势与空间直方图融合的自适应图像分割方法
CN107451595A (zh) 基于混合算法的红外图像显著性区域检测方法
CN103093432A (zh) 基于极化分解和图像块相似性的极化sar图像降斑方法
CN110310263B (zh) 一种基于显著性分析和背景先验的sar图像居民区检测方法
CN115147613A (zh) 一种基于多向融合的红外小目标检测方法
Lijun et al. Geo‐information mapping improves Canny edge detection method
CN103310414A (zh) 基于方向波变换和模糊理论的图像增强方法
CN105205485B (zh) 基于多类类间最大方差算法的大尺度图像分割算法
CN107341449A (zh) 一种基于云块特征变化的静止气象卫星降水估算方法
CN109815784A (zh) 一种基于红外热像仪的智能分类方法、系统及存储介质
CN111461999A (zh) 一种基于超像素相似性测量的sar图像相干斑抑制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

CF01 Termination of patent right due to non-payment of annual fee