CN104408733A - 基于对象随机游走的遥感图像视觉显著性检测方法及系统 - Google Patents
基于对象随机游走的遥感图像视觉显著性检测方法及系统 Download PDFInfo
- Publication number
- CN104408733A CN104408733A CN201410763638.0A CN201410763638A CN104408733A CN 104408733 A CN104408733 A CN 104408733A CN 201410763638 A CN201410763638 A CN 201410763638A CN 104408733 A CN104408733 A CN 104408733A
- Authority
- CN
- China
- Prior art keywords
- centerdot
- yardstick
- obj
- remote sensing
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
一种基于对象随机游走的遥感图像视觉显著性检测方法及系统,包括进行多尺度分割,并在每个尺度下分别对颜色特征相似的邻接区域进行合并;对于每个尺度下的分割结果,分别提取每个分割区域的视觉特征,构建当前尺度下的对象集合;对于每个尺度下的对象集合,通过对象间的特征差异计算对应的边缘权重,并计算注意焦点在对象间的转移概率,获得注意焦点的转移概率矩阵,分别根据注意焦点的转移概率矩阵计算注意焦点在所有对象间的平稳分布,由该平稳分布中每个对象对应的概率进一步计算视觉显著性并归一化,获得当前尺度下的归一化视觉显著图;融合各个尺度下的视觉显著图,即可获得该遥感图像最终的视觉显著图。<b/>
Description
技术领域
本发明涉及图像处理技术领域,更具体地说,涉及一种基于对象随机游走的遥感图像视觉显著性检测方法及系统。
背景技术
遥感作为一种主要的对地观测技术,其所获取的高分辨率光学图像是对地球表面各类地物的空间分布最直观、真实的写照。由于地球表面积巨大,且地物覆盖类型繁多、变化复杂,因此获取的高分辨率遥感图像呈现出数据上的海量性、内容上的多样性以及结构上的复杂性。这些特性使得人们在使用计算机进行遥感图像自动化处理时,不但耗时较多,而且很难获取图像中主要地物对象或感兴趣区域的准确特征描述。目前,这一现象已成为制约遥感图像高效分析与应用的瓶颈问题。
另一方面,早在上世纪80年代,视觉神经学家们就发现,人类视觉系统(Human VisualSystem,HVS)在处理复杂场景中大量的视觉信息时,会选择性地关注某些重要的局部区域并忽略大部分不重要的背景区域,从而高效地获取复杂场景中关键的视觉信息。HVS的这种选择性注意机制在视觉行为上具体表现为注意焦点(Focus of Attention,FOA)的选择与转移。已有认知心理学的研究表明,FOA的转移路径具有一定的随机性,并且采用适当的随机游走模型能够有效预测FOA的转移路径。在这一理论基础上,研究人员提出了一系列基于随机游走的视觉注意模型,用于预测图像的视觉显著性分布。但是,传统基于随机游走的视觉注意模型在提取图像显著区时仍然存在一定的局限性,主要表现在两个方面:首先,传统模型都以像素为基本单元,计算每个像素对应的显著值,在构建马尔可夫链的过程中,设置的节点过多,转移概率矩阵过大,计算复杂度很高;其次,传统模型计算所得的显著图都经过了高斯平滑处理,显著区域的边缘非常模糊,对于提取高分辨率遥感图像的显著地物对象十分不利。因此,如何针对高分辨率遥感图像分析与应用的需求,构建准确高效的遥感图像视觉显著性检测方案是一个亟待解决的问题。
发明内容
本发明的目的在于针对现有技术的缺点和不足,提供一种基于对象随机游走的遥感图像视觉显著性检测方法,将面向对象的图像分析思想引入到视觉注意模型中,通过模拟FOA在图像对象间的转移路径来计算图像中所有对象的视觉显著性分布,以获取整幅图像的视觉显著图。
本发明所采用的技术方案是一种基于对象随机游走的遥感图像视觉显著性检测方法,包括以下步骤:
步骤一,设置多个尺度参数对原始遥感图像进行多尺度分割,并在每个尺度下分别对颜色特征相似的邻接区域进行合并,获得多个尺度的分割结果;
步骤二,对于每个尺度下的分割结果,分别提取每个分割区域的视觉特征,构建当前尺度下的对象集合,实现方式如下,
设原始遥感图像I在任一尺度n下的分割结果为SEGn,n=1,2,...,N,N为尺度总数,SEGn中任一分割区域记为i=1,2,...,R(n),R(n)为尺度n下的分割区域总数,以分割区域为基础,构建对象统计分割区域的基本属性以及视觉特征,得到尺度n下的对象集合
其中,分割区域的基本属性包括面积中心坐标和邻接对象集合 为对象的所有邻接对象序值编号的集合;
步骤三,对于每个尺度下的对象集合,通过对象间的特征差异计算对应的边缘权重,并计算注意焦点在对象间的转移概率,获得注意焦点的转移概率矩阵,实现方式如下,
对于尺度n下的对象集合若两个对象在空间上不相邻,则它们之间的边缘权重为0,若两个对象在空间上相邻,则它们之间的边缘权重按下式计算,
其中,为对象与某个邻接对象之间的边缘权重,表示对象间的视觉特征差异因子,根据相应视觉特征得到;表示对象的中心间的空间距离因子,根据相应中心坐标得到;
计算注意焦点在对象与对象集合中任一对象之间的转移概率如下,
其中,k=1,2,...,R(n);
构建注意焦点在对象集合中各个对象间的转移概率矩阵P(n)如下,
步骤四,对于每个尺度下的对象集合,分别根据注意焦点的转移概率矩阵计算注意焦点在所有对象间的平稳分布,由该平稳分布中每个对象对应的概率进一步计算视觉显著性并归一化,获得当前尺度下的归一化视觉显著图,实现方式如下,
设对于尺度n下的对象集合注意焦点在所有对象间的平稳分布为平稳分布Π(n)中任一元素为注意焦点集中在对象上的概率,Π(n)=Π(n)·P(n);
计算对象对应的对象面积因子
根据对象的概率和对象面积因子计算对象的视觉显著性如下,
进行归一化如下,
其中,为对象的归一化视觉显著性,根据尺度n下的对象集合中各对象的归一化视觉显著性,得到尺度n下的归一化视觉显著图;
步骤五,融合各个尺度下的视觉显著图,即可获得该遥感图像最终的视觉显著图,实现方式如下,
设原始遥感图像I中的任一像素为p,则像素p相应多尺度融合的视觉显著性按下式计算,
其中,Ip为像素p在RGB颜色空间的三维特征向量,为对象中所有像素的RGB颜色特征向量均值,ε是一个预设的常数,为指示函数;
获得原始遥感图像I中所有像素多尺度融合的视觉显著性后,进一步对所有像素的视觉显著性进行线性归一化处理如下,
其中,SMapNor(p)表示像素p经线性归一化处理后的视觉显著性,min(SMap)和max(SMap)分别表示线性归一化处理前所有像素视觉显著性的最小值和最大值,完成上述线性归一化处理后,得到最终的视觉显著图。
而且,步骤一中,对原始遥感图像进行多尺度分割时,采用分水岭分割方法、Quick Shift方法或基于图论的分割方法。
而且,步骤三中,根据下式计算,
其中,为对象对象分别的中心坐标间的欧氏距离,N(·)为线性归一化函数,σ为预设的常数。
而且,步骤二中,提取的分割区域的视觉特征为颜色特征、亮度特征或者纹理特征。
而且,步骤三中,根据下式计算,
其中,分别为对象对象的视觉特征,χ2(·)为视觉特征间的卡方距离,N(·)为线性归一化函数。
而且,步骤四中,根据边缘权重进行如下快速计算获得,
其中,表示任一对象与所有相邻对象间的边缘权重之和,表示图中所有边缘权重之和。
而且,步骤四中,计算对象对应的对象面积因子如下,
其中,iw和ih分别为原始遥感图像的宽和高,Y为预设的常数。
本发明还相应提供一种基于对象随机游走的遥感图像视觉显著性检测系统,包括以下模块:
多尺度分割模块,用于设置多个尺度参数对原始遥感图像进行多尺度分割,并在每个尺度下分别对颜色特征相似的邻接区域进行合并,获得多个尺度的分割结果;
视觉特征提取模块,用于每个尺度下的分割结果,分别提取每个分割区域的视觉特征,构建当前尺度下的对象集合,实现方式如下,
设原始遥感图像I在任一尺度n下的分割结果为SEGn,n=1,2,...,N,N为尺度总数,SEGn中任一分割区域记为i=1,2,...,R(n),R(n)为尺度n下的分割区域总数,以分割区域为基础,构建对象统计分割区域的基本属性以及视觉特征,得到尺度n下的对象集合
其中,分割区域的基本属性包括面积中心坐标和邻接对象集合 为对象的所有邻接对象序值编号的集合;
转移概率计算模块,用于对于每个尺度下的对象集合,通过对象间的特征差异计算对应的边缘权重,并计算注意焦点在对象间的转移概率,获得注意焦点的转移概率矩阵,实现方式如下,
对于尺度n下的对象集合若两个对象在空间上不相邻,则它们之间的边缘权重为0,若两个对象在空间上相邻,则它们之间的边缘权重按下式计算,
其中,为对象与某个邻接对象之间的边缘权重,表示对象间的视觉特征差异因子,根据相应视觉特征得到;表示对象的中心间的空间距离因子,根据相应中心坐标得到;
计算注意焦点在对象与对象集合中任一对象之间的转移概率如下,
其中,k=1,2,...,R(n);
构建注意焦点在对象集合中各个对象间的转移概率矩阵P(n)如下,
视觉显著性提取模块,用于对于每个尺度下的对象集合,分别根据注意焦点的转移概率矩阵计算注意焦点在所有对象间的平稳分布,由该平稳分布中每个对象对应的概率进一步计算视觉显著性并归一化,获得当前尺度下的归一化视觉显著图,实现方式如下,
设对于尺度n下的对象集合注意焦点在所有对象间的平稳分布为平稳分布Π(n)中任一元素为注意焦点集中在对象上的概率,Π(n)=Π(n)·P(n);
计算对象对应的对象面积因子
根据对象的概率和对象面积因子计算对象的视觉显著性如下,
进行归一化如下,
其中,为对象的归一化视觉显著性,根据尺度n下的对象集合中各对象的归一化视觉显著性,得到尺度n下的归一化视觉显著图;
多尺度视觉显著性融合模块,用于融合各个尺度下的视觉显著图,即可获得该遥感图像最终的视觉显著图,实现方式如下,
设原始遥感图像I中的任一像素为p,则像素p相应多尺度融合的视觉显著性按下式计算,
其中,Ip为像素p在RGB颜色空间的三维特征向量,为对象中所有像素的RGB颜色特征向量均值,ε是一个预设的常数,为指示函数;
获得原始遥感图像I中所有像素多尺度融合的视觉显著性后,进一步对所有像素的视觉显著性进行线性归一化处理如下,
其中,SMapNor(p)表示像素p经线性归一化处理后的视觉显著性,min(SMap)和max(SMap)分别表示线性归一化处理前所有像素视觉显著性的最小值和最大值,完成上述线性归一化处理后,得到最终的视觉显著图。
受面向对象的图像分析思想启发,本发明将每个尺度下的图像分割结果视为一幅无向加权图,而每个对象对应于图中的一个节点,对象间的特征差异可作为节点之间边缘权重的计算依据,由此则可构建一个FOA在对象间转移的马尔可夫链,最终通过计算FOA在图像对象间的平稳分布来获得各对象的视觉显著性。本发明提供的技术方案的有益效果为,通过引入面向对象的图像分析思想,采用由空间相邻的相似像素组成的图像对象替代单个像素作为显著性计算的基本单元,不但能够有效减少马尔可夫链中的节点数,降低算法复杂度,而且计算所得的视觉显著图中显著区域边缘清晰,显著目标轮廓分明,结果符合人类视觉感知特性,有利于自动提取遥感图像中的感兴趣区域。同时,本发明提供的技术方案具有良好的可扩展性,所采用的分割区域视觉特征包括但不限于本发明中所提及的颜色、亮度和纹理,只要是符合人类视觉感知特性的特征,都能顺利地纳入本发明提供的技术方案中。此外,本发明提供的技术方案适用于多种地物类型的遥感图像感兴趣区域自动提取。
附图说明
图1为本发明实施例的流程图。
具体实施方式
本发明提出的基于对象随机游走的遥感图像视觉显著性检测技术方案先对原始遥感图像进行多尺度分割,并在每个尺度下对颜色特征相似的邻接区域进行合并,获得多个尺度的分割结果,随后对于每个尺度下的分割结果,提取每个分割区域的视觉特征,构建当前尺度下的图像对象集合,接着对于每个尺度下的对象集合,通过对象间的特征差异计算其对应的边缘权重,进而计算FOA在对象间的转移概率,获得FOA的转移概率矩阵,然后根据FOA的转移概率矩阵计算FOA在所有对象间的平稳分布,并由该平稳分布中每个对象对应的概率进一步计算其视觉显著性,获得当前尺度下的视觉显著图,最后融合各个尺度下的视觉显著图,获得该遥感图像最终的视觉显著图。其中主要包括多尺度分割及区域合并、提取对象视觉特征、计算FOA在对象间的转移概率、计算对象视觉显著性和多尺度视觉显著性融合五个步骤。
具体实施时,本发明技术方案可采用计算机技术实现自动运行流程。为详细说明本发明技术方案,参见图1,提供实施例流程具体说明如下:
步骤S01,设置多个尺度参数对原始遥感图像进行多尺度分割,并在每个尺度下对颜色特征相似的邻接区域进行合并,获得多个尺度的分割结果。
对原始遥感图像进行多尺度分割时,采用主流的图像多尺度分割方法即可,例如分水岭分割方法、Quick Shift方法和基于图论的分割方法等。实施例首先设置一组多尺度的分割参数,并采用一种高效的基于图论的图像分割方法(Felzenszwalb and Hunttenlocher,2004)对原始遥感图像进行多尺度分割。基于图论的图像分割方法为现有技术,本发明不予赘述,具体实施时可参考文献:Felzenszwalb P,Huttenlocher D.2004.Efficient graph-based imagesegmentation[J].International Journal of Computer Vision,59(2):167-181.
在进行图像多尺度分割的基础上,对于每个尺度下的初始分割结果,分别统计每个分割区域在CIELab颜色空间的颜色直方图,CIELab颜色空间是颜色-对立空间,维度L表示亮度,a和b表示颜色对立维度。其中L、a和b三个颜色通道分别量化为8级、16级和16级。然后,统计各个分割区域之间的邻接关系,并对颜色直方图之间卡方距离小于设定阈值(本领域技术人员可自行预设取值,实施例中为0.1)的邻接区域进行合并,最终获得多个尺度的分割结果。
步骤S02,对于每个尺度下的分割结果,分别提取每个分割区域的视觉特征,构建当前尺度下的图像对象集合。
实施例分别统计了每个尺度下各个分割区域的基本属性,并提取了各个分割区域的视觉特征。具体实施时,本领域技术人员可自行设定提取一种或多种视觉特征,建议提取的分割区域的视觉特征为颜色特征、亮度特征或者纹理特征。给定一幅原始遥感图像I,设其在任一尺度n下的分割结果为SEGn,其中n=1,2,...,N,N为尺度总数(本领域技术人员可自行预设取值,实施例中为8),SEGn中任一分割区域记为其中i=1,2,...,R(n),R(n)为尺度n下的分割区域总数。以分割区域为基础,构建对象还需统计该区域的以下基本属性以及视觉特征:
(1)面积即该区域包含的像素总数;
(2)中心坐标即该区域内所有像素二维坐标的均值;
(3)邻接对象集合 其中为对象的所有邻接对象序值编号的集合,此时序号为对象的任一邻接对象。
视觉特征提取方式根据具体特征种类而定,例如:
对于颜色特征向量,可采用HSV颜色空间中的H通道和CIELab颜色空间中的L、a、b三个通道,共同构建用于对象显著性计算的颜色特征图。HSV颜色空间中H、S、V三个通道分别表示色调、饱和度、亮度。首先将原始遥感图像从RGB颜色空间分别转换到HSV颜色空间和CIELab颜色空间,接着将H、L、a、b四个通道中的取值分别量化为4级、8级、16级、16级,然后将上述四个通道合并为一个4×8×16×16=8192级的颜色特征图,最后对于图像中的每个分割区域,统计其所包含像素的颜色特征直方图,即可得每个对象的颜色特征
对于亮度特征向量,可将原始遥感图像从RGB颜色空间转换到HSV颜色空间,接着将V通道中的取值量化为256级,然后对于图像中的每个分割区域,统计其所包含像素的亮度特征直方图,即可得每个对象的亮度特征
对于纹理特征向量,本发明首先将原始遥感图像灰度化,接着提取灰度化图像的LBP特征图和LC特征图,并将LC特征图量化为8级,然后将LBP特征图和LC特征图合并为一个纹理特征图,由于旋转不变的LBP模式仅有36种可能值,因此二者可以合并为一个36×8=288级的纹理特征图,最后对于图像中的每个分割区域,统计其所包含像素的纹理特征直方图,即可得每个对象的纹理特征
完成SEGn中所有分割区域相应对象的上述基本属性及视觉特征统计后,即可构建尺度n下的对象集合n=1,2,...,N。
步骤S03,对于每个尺度下的对象集合,分别通过对象间的特征差异计算其对应的边缘权重,并基于此计算FOA在对象间的转移概率,获得FOA的转移概率矩阵。
实施例中,对于尺度n下的对象集合图像对象间的边缘权重主要由相邻对象间的视觉特征差异和对象中心间的空间距离两个因子决定,其计算公式为:
其中,表示对象与其某个邻接对象之间的边缘权重,而若两个对象在空间上不相邻,则它们之间的边缘权重为0。
表示两对象间的视觉特征差异因子,按下式计算,
其中,χ2(·)为视觉特征间的卡方距离,为两对象的视觉特征。
例如对于颜色特征,其计算公式为:
其中,计算亮度特征或纹理特征差异时,替换公式中对应的特征即可。
N(·)为线性归一化函数,设矩阵M中任一元素为mp,q,max(M)为矩阵中所有元素的最大值,则mp,q的线性归一化结果N(mp,q)的计算公式为:
表示两对象中心间的空间距离因子,其计算公式为:
其中,N(·)为线性归一化函数,为两对象中心坐标间的欧氏距离,σ为预设的常数,可采用经验值,实施例取0.4。获得所有对象间的边缘权重后,即可进一步计算FOA在对象与其邻接对象之间的转移概率扩展到计算FOA在对象与对象集合中任一对象之间的转移概率此时k=1,2,...,R(n),R(n)为尺度n下的分割区域总数,其计算公式如下:
对象与在空间上不相邻时,它们之间的边缘权重为0,相应也为0。对象与自己本身的转移概率也为0,因为k=i时,视觉特征差异因子也为0,相应为0。
获得对象集合中所有对象与对象之间的转移概率后,即可构建FOA在对象集合中各个对象间的转移概率矩阵P(n),有R(n)行R(n)列,其表达式为:
步骤S04,对于每个尺度下的对象集合,分别根据FOA的转移概率矩阵计算FOA在所有对象间的平稳分布,由该平稳分布中每个对象对应的概率进一步计算其视觉显著性并归一化,即可获得当前尺度下的归一化视觉显著图。
实施例首先根据FOA的转移概率矩阵计算其在所有对象间的平稳分布。设对于尺度n下的对象集合FOA的平稳分布为根据平稳分布的性质,其与转移概率矩阵P(n)的关系满足以下公式:
Π(n)=Π(n)·P(n)
实际上,平稳分布Π(n)中任一元素为FOA集中在对象上的概率,可通过上述边缘权重快速计算获得,因为非相邻对象的为0,可以只考虑相邻对象,即此时 其计算式为:
其中,表示任一节点(即对象)与其所有相邻节点(对象)间的边缘权重之和,表示图中所有边缘权重之和。除了FOA的平稳分布之外,实施例认为图像对象的视觉显著性还与对象的面积密切相关。对于一幅分割结果较为稳定的遥感图像来说,区域面积过大的对象往往都是图像的背景,因此在计算对象对应的对象面积因子时,需对大面积对象的视觉显著性加以抑制,抑制方式可由本领域技术人员设定,实施例中采用的计算公式如下:
其中,iw和ih分别为原始遥感图像的宽和高,Y为常数,可预设采用经验值,实施例取0.52;(.)2表示括号内数值的平方。实验证明这种抑制方式较为有效。分别获得图像中每个对象的FOA平稳概率分布和面积因子后,即可计算其对应的视觉显著性计算公式如下:
为了在各个尺度下获得归一化的视觉显著图,实施例还对各个对象的视觉显著性进行了线性归一化处理。设和分别表示尺度n下所有对象的视觉显著性最大值和最小值,则对象的归一化视觉显著性的计算公式如下:
将计算所得的每个对象的视觉显著性赋予其所含像素,即可得到当前尺度下的归一化视觉显著图。
步骤S05,融合各个尺度下的视觉显著图,即可获得该遥感图像最终的视觉显著图。
实施例通过加权融合的方式融合多个尺度的视觉显著图。设原始遥感图像I中的任一像素为p,则像素p多尺度融合的视觉显著性SMap(p)的计算公式如下:
其中,Ip为像素p在RGB颜色空间的三维特征向量,为对象中所有像素的RGB颜色特征向量均值,ε是一个常数(本领域技术人员可自行预设取值,建议取很小的数,实施例中设为0.1),为一个指示函数,其具体取值情况如下:
实施例计算获得原始遥感图像I中所有像素多尺度融合的视觉显著性后,进一步对所有像素的视觉显著性进行线性归一化处理,计算公式如下:
其中,SMapNor(p)表示像素p经线性归一化处理后的视觉显著性,min(SMap)和max(SMap)分别表示线性归一化处理前所有像素视觉显著性的最小值和最大值。完成上述线性归一化处理后,即得到最终的视觉显著图。
本发明还相应提供一种基于对象随机游走的遥感图像视觉显著性检测系统,包括以下模块:
多尺度分割模块,用于设置多个尺度参数对原始遥感图像进行多尺度分割,并在每个尺度下分别对颜色特征相似的邻接区域进行合并,获得多个尺度的分割结果;
视觉特征提取模块,用于每个尺度下的分割结果,分别提取每个分割区域的视觉特征,构建当前尺度下的对象集合,实现方式如下,
设原始遥感图像I在任一尺度n下的分割结果为SEGn,n=1,2,...,N,N为尺度总数,SEGn中任一分割区域记为i=1,2,...,R(n),R(n)为尺度n下的分割区域总数,以分割区域为基础,构建对象统计分割区域的基本属性以及视觉特征,得到尺度n下的对象集合
其中,分割区域的基本属性包括面积中心坐标和邻接对象集合 为对象的所有邻接对象序值编号的集合;
转移概率计算模块,用于对于每个尺度下的对象集合,通过对象间的特征差异计算对应的边缘权重,并计算注意焦点在对象间的转移概率,获得注意焦点的转移概率矩阵,实现方式如下,
对于尺度n下的对象集合若两个对象在空间上不相邻,则它们之间的边缘权重为0,若两个对象在空间上相邻,则它们之间的边缘权重按下式计算,
其中,为对象与某个邻接对象之间的边缘权重,表示对象间的视觉特征差异因子,根据相应视觉特征得到;表示对象的中心间的空间距离因子,根据相应中心坐标得到;
计算注意焦点在对象与对象集合中任一对象之间的转移概率如下,
其中,k=1,2,...,R(n);
构建注意焦点在对象集合中各个对象间的转移概率矩阵P(n)如下,
视觉显著性提取模块,用于对于每个尺度下的对象集合,分别根据注意焦点的转移概率矩阵计算注意焦点在所有对象间的平稳分布,由该平稳分布中每个对象对应的概率进一步计算视觉显著性并归一化,获得当前尺度下的归一化视觉显著图,实现方式如下,
设对于尺度n下的对象集合注意焦点在所有对象间的平稳分布为平稳分布Π(n)中任一元素为注意焦点集中在对象上的概率,Π(n)=Π(n)·P(n);
计算对象对应的对象面积因子
根据对象的概率和对象面积因子计算对象的视觉显著性如下,
进行归一化如下,
其中,为对象的归一化视觉显著性,根据尺度n下的对象集合中各对象的归一化视觉显著性,得到尺度n下的归一化视觉显著图;
多尺度视觉显著性融合模块,用于融合各个尺度下的视觉显著图,即可获得该遥感图像最终的视觉显著图,实现方式如下,
设原始遥感图像I中的任一像素为p,则像素p相应多尺度融合的视觉显著性按下式计算,
其中,Ip为像素p在RGB颜色空间的三维特征向量,为对象中所有像素的RGB颜色特征向量均值,ε是一个常数,为指示函数;
获得原始遥感图像I中所有像素多尺度融合的视觉显著性后,进一步对所有像素的视觉显著性进行线性归一化处理如下,
其中,SMapNor(p)表示像素p经线性归一化处理后的视觉显著性,min(SMap)和max(SMap)分别表示线性归一化处理前所有像素视觉显著性的最小值和最大值,完成上述线性归一化处理后,得到最终的视觉显著图。
具体模块实现参见方法相应步骤,本发明不予赘述。
以上内容是结合最佳实施方案对本发明说做的进一步详细说明,不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解,在不脱离由所附权利要求书限定的情况下,可以在细节上进行各种修改,都应当视为属于本发明的保护范围。
Claims (8)
1.一种基于对象随机游走的遥感图像视觉显著性检测方法,其特征在于,包括以下步骤:
步骤一,设置多个尺度参数对原始遥感图像进行多尺度分割,并在每个尺度下分别对颜色特征相似的邻接区域进行合并,获得多个尺度的分割结果;
步骤二,对于每个尺度下的分割结果,分别提取每个分割区域的视觉特征,构建当前尺度下的对象集合,实现方式如下,
设原始遥感图像I在任一尺度n下的分割结果为SEGn,n=1,2,...,N,N为尺度总数,SEGn中任一分割区域记为i=1,2,...,R(n),R(n)为尺度n下的分割区域总数,以分割区域为基础,构建对象统计分割区域的基本属性以及视觉特征,得到尺度n下的对象集合
其中,分割区域的基本属性包括面积中心坐标和邻接对象集合 为对象的所有邻接对象序值编号的集合;
步骤三,对于每个尺度下的对象集合,通过对象间的特征差异计算对应的边缘权重,并计算注意焦点在对象间的转移概率,获得注意焦点的转移概率矩阵,实现方式如下,
对于尺度n下的对象集合若两个对象在空间上不相邻,则它们之间的边缘权重为0,若两个对象在空间上相邻,则它们之间的边缘权重按下式计算,
其中, 为对象与某个邻接对象之间的边缘权重,表示对象间的视觉特征差异因子,根据相应视觉特征得到;表示对象的中心间的空间距离因子,根据相应中心坐标得到;
计算注意焦点在对象与对象集合中任一对象之间的转移概率如下,
其中,k=1,2,...,R(n);
构建注意焦点在对象集合中各个对象间的转移概率矩阵P(n)如下,
步骤四,对于每个尺度下的对象集合,分别根据注意焦点的转移概率矩阵计算注意焦点在所有对象间的平稳分布,由该平稳分布中每个对象对应的概率进一步计算视觉显著性并归一化,获得当前尺度下的归一化视觉显著图,实现方式如下,
设对于尺度n下的对象集合注意焦点在所有对象间的平稳分布为平稳分布Π(n)中任一元素为注意焦点集中在对象上的概率,Π(n)=Π(n)·P(n);
计算对象对应的对象面积因子
根据对象的概率和对象面积因子计算对象的视觉显著性如下,
进行归一化如下,
其中,为对象的归一化视觉显著性,根据尺度n下的对象集合中各对象的归一化视觉显著性,得到尺度n下的归一化视觉显著图;
步骤五,融合各个尺度下的视觉显著图,即可获得该遥感图像最终的视觉显著图,实现方式如下,
设原始遥感图像I中的任一像素为p,则像素p相应多尺度融合的视觉显著性按下式计算,
其中,Ip为像素p在RGB颜色空间的三维特征向量,为对象中所有像素的RGB颜色特征向量均值,ε是一个预设的常数,为指示函数;
获得原始遥感图像I中所有像素多尺度融合的视觉显著性后,进一步对所有像素的视觉显著性进行线性归一化处理如下,
其中,SMapNor(p)表示像素p经线性归一化处理后的视觉显著性,min(SMap)和max(SMap)分别表示线性归一化处理前所有像素视觉显著性的最小值和最大值,完成上述线性归一化处理后,得到最终的视觉显著图。
2.根据权利要求1所述基于对象随机游走的遥感图像视觉显著性检测方法,其特征在于:步骤一中,对原始遥感图像进行多尺度分割时,采用分水岭分割方法、Quick Shift方法或基于图论的分割方法。
3.根据权利要求1所述基于对象随机游走的遥感图像视觉显著性检测方法,其特征在于:步骤三中,根据下式计算,
其中,为对象对象分别的中心坐标间的欧氏距离,N(·)为线性归一化函数,σ为预设的常数。
4.根据权利要求1或2或3所述基于对象随机游走的遥感图像视觉显著性检测方法,其特征在于:步骤二中,提取的分割区域的视觉特征为颜色特征、亮度特征或者纹理特征。
5.根据权利要求1或2或3所述基于对象随机游走的遥感图像视觉显著性检测方法,其特征在于:步骤三中,根据下式计算,
其中,分别为对象对象的视觉特征,χ2(·)为视觉特征间的卡方距离,N(·)为线性归一化函数。
6.根据权利要求1或2或3所述基于对象随机游走的遥感图像视觉显著性检测方法,其特征在于:步骤四中,根据边缘权重进行如下快速计算获得,
其中,表示任一对象与所有相邻对象间的边缘权重之和,表示图中所有边缘权重之和。
7.根据权利要求1或2或3所述基于对象随机游走的遥感图像视觉显著性检测方法,其特征在于:步骤四中,计算对象对应的对象面积因子如下,
其中,iw和ih分别为原始遥感图像的宽和高,Y为预设的常数。
8.一种基于对象随机游走的遥感图像视觉显著性检测系统,其特征在于,包括以下模块:
多尺度分割模块,用于设置多个尺度参数对原始遥感图像进行多尺度分割,并在每个尺度下分别对颜色特征相似的邻接区域进行合并,获得多个尺度的分割结果;
视觉特征提取模块,用于每个尺度下的分割结果,分别提取每个分割区域的视觉特征,构建当前尺度下的对象集合,实现方式如下,
设原始遥感图像I在任一尺度n下的分割结果为SEGn,n=1,2,...,N,N为尺度总数,SEGn中任一分割区域记为i=1,2,...,R(n),R(n)为尺度n下的分割区域总数,以分割区域为基础,构建对象统计分割区域的基本属性以及视觉特征,得到尺度n下的对象集合
其中,分割区域的基本属性包括面积中心坐标和邻接对象集合 为对象的所有邻接对象序值编号的集合;
转移概率计算模块,用于对于每个尺度下的对象集合,通过对象间的特征差异计算对应的边缘权重,并计算注意焦点在对象间的转移概率,获得注意焦点的转移概率矩阵,实现方式如下,
对于尺度n下的对象集合若两个对象在空间上不相邻,则它们之间的边缘权重为0,若两个对象在空间上相邻,则它们之间的边缘权重按下式计算,
其中, 为对象与某个邻接对象之间的边缘权重,表示对象间的视觉特征差异因子,根据相应视觉特征得到;表示对象的中心间的空间距离因子,根据相应中心坐标得到;
计算注意焦点在对象与对象集合中任一对象之间的转移概率如下,
其中,k=1,2,...,R(n);
构建注意焦点在对象集合中各个对象间的转移概率矩阵P(n)如下,
视觉显著性提取模块,用于对于每个尺度下的对象集合,分别根据注意焦点的转移概率矩阵计算注意焦点在所有对象间的平稳分布,由该平稳分布中每个对象对应的概率进一步计算视觉显著性并归一化,获得当前尺度下的归一化视觉显著图,实现方式如下,
设对于尺度n下的对象集合注意焦点在所有对象间的平稳分布为平稳分布Π(n)中任一元素为注意焦点集中在对象上的概率,Π(n)=Π(n)·P(n);
计算对象对应的对象面积因子
根据对象的概率和对象面积因子计算对象的视觉显著性如下,
进行归一化如下,
其中,为对象的归一化视觉显著性,根据尺度n下的对象集合中各对象的归一化视觉显著性,得到尺度n下的归一化视觉显著图;
多尺度视觉显著性融合模块,用于融合各个尺度下的视觉显著图,即可获得该遥感图像最终的视觉显著图,实现方式如下,
设原始遥感图像I中的任一像素为p,则像素p相应多尺度融合的视觉显著性按下式计算,
其中,Ip为像素p在RGB颜色空间的三维特征向量,为对象中所有像素的RGB颜色特征向量均值,ε是一个预设的常数,为指示函数;
获得原始遥感图像I中所有像素多尺度融合的视觉显著性后,进一步对所有像素的视觉显著性进行线性归一化处理如下,
其中,SMapNor(p)表示像素p经线性归一化处理后的视觉显著性,min(SMap)和max(SMap)分别表示线性归一化处理前所有像素视觉显著性的最小值和最大值,完成上述线性归一化处理后,得到最终的视觉显著图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410763638.0A CN104408733B (zh) | 2014-12-11 | 2014-12-11 | 基于对象随机游走的遥感图像视觉显著性检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410763638.0A CN104408733B (zh) | 2014-12-11 | 2014-12-11 | 基于对象随机游走的遥感图像视觉显著性检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104408733A true CN104408733A (zh) | 2015-03-11 |
CN104408733B CN104408733B (zh) | 2017-02-22 |
Family
ID=52646362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410763638.0A Active CN104408733B (zh) | 2014-12-11 | 2014-12-11 | 基于对象随机游走的遥感图像视觉显著性检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104408733B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105957063A (zh) * | 2016-04-22 | 2016-09-21 | 北京理工大学 | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 |
CN106096615A (zh) * | 2015-11-25 | 2016-11-09 | 北京邮电大学 | 一种基于随机游走的图像显著区域提取方法 |
CN106485693A (zh) * | 2016-09-09 | 2017-03-08 | 河海大学 | 卡方变换结合mrf模型的多时相遥感影像变化检测方法 |
CN107239760A (zh) * | 2017-06-05 | 2017-10-10 | 中国人民解放军军事医学科学院基础医学研究所 | 一种视频数据处理方法及系统 |
CN107680109A (zh) * | 2017-09-15 | 2018-02-09 | 盐城禅图智能科技有限公司 | 一种引用逆注意力与像素相似度学习的图像语义分割方法 |
CN108053406A (zh) * | 2017-09-11 | 2018-05-18 | 同济大学 | 基于多分辨率遥感影像的地表覆盖制图方法及装置 |
CN110084247A (zh) * | 2019-04-17 | 2019-08-02 | 上海师范大学 | 一种基于模糊特征的多尺度显著性检测方法及装置 |
CN111191650A (zh) * | 2019-12-30 | 2020-05-22 | 北京市新技术应用研究所 | 基于rgb-d图像视觉显著性的物品定位方法与系统 |
CN116503733A (zh) * | 2023-04-25 | 2023-07-28 | 北京卫星信息工程研究所 | 遥感图像目标检测方法、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609726A (zh) * | 2012-02-24 | 2012-07-25 | 中国科学院东北地理与农业生态研究所 | 利用面向对象技术融合高空间和高时间分辨率数据的遥感图像分类方法 |
US20120328161A1 (en) * | 2011-06-22 | 2012-12-27 | Palenychka Roman | Method and multi-scale attention system for spatiotemporal change determination and object detection |
CN103000077A (zh) * | 2012-11-27 | 2013-03-27 | 中国科学院东北地理与农业生态研究所 | 利用面向对象的分类方法对中等分辨率遥感图像进行红树林制图的方法 |
CN103473760A (zh) * | 2013-08-01 | 2013-12-25 | 西北工业大学 | 一种高分辨率遥感图像机场感兴趣区域快速检测方法 |
US20140039967A1 (en) * | 2006-11-07 | 2014-02-06 | The Curators Of The University Of Missouri | Method of predicting crop yield loss due to n-deficiency |
CN103632363A (zh) * | 2013-08-27 | 2014-03-12 | 河海大学 | 基于多尺度融合的对象级高分辨率遥感影像变化检测方法 |
-
2014
- 2014-12-11 CN CN201410763638.0A patent/CN104408733B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140039967A1 (en) * | 2006-11-07 | 2014-02-06 | The Curators Of The University Of Missouri | Method of predicting crop yield loss due to n-deficiency |
US20120328161A1 (en) * | 2011-06-22 | 2012-12-27 | Palenychka Roman | Method and multi-scale attention system for spatiotemporal change determination and object detection |
CN102609726A (zh) * | 2012-02-24 | 2012-07-25 | 中国科学院东北地理与农业生态研究所 | 利用面向对象技术融合高空间和高时间分辨率数据的遥感图像分类方法 |
CN103000077A (zh) * | 2012-11-27 | 2013-03-27 | 中国科学院东北地理与农业生态研究所 | 利用面向对象的分类方法对中等分辨率遥感图像进行红树林制图的方法 |
CN103473760A (zh) * | 2013-08-01 | 2013-12-25 | 西北工业大学 | 一种高分辨率遥感图像机场感兴趣区域快速检测方法 |
CN103632363A (zh) * | 2013-08-27 | 2014-03-12 | 河海大学 | 基于多尺度融合的对象级高分辨率遥感影像变化检测方法 |
Non-Patent Citations (2)
Title |
---|
V GOPALAKRISHNAN ET AL.: ""Random walks on graphs to model saliency in images"", 《IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
胡正平等: ""全局孤立性和局部同质性图表示的随机游走显著目标检测算法"", 《自动化学报》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096615A (zh) * | 2015-11-25 | 2016-11-09 | 北京邮电大学 | 一种基于随机游走的图像显著区域提取方法 |
CN105957063A (zh) * | 2016-04-22 | 2016-09-21 | 北京理工大学 | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 |
CN105957063B (zh) * | 2016-04-22 | 2019-02-15 | 北京理工大学 | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 |
CN106485693B (zh) * | 2016-09-09 | 2019-01-22 | 河海大学 | 卡方变换结合mrf模型的多时相遥感影像变化检测方法 |
CN106485693A (zh) * | 2016-09-09 | 2017-03-08 | 河海大学 | 卡方变换结合mrf模型的多时相遥感影像变化检测方法 |
CN107239760A (zh) * | 2017-06-05 | 2017-10-10 | 中国人民解放军军事医学科学院基础医学研究所 | 一种视频数据处理方法及系统 |
CN107239760B (zh) * | 2017-06-05 | 2020-07-17 | 中国人民解放军军事医学科学院基础医学研究所 | 一种视频数据处理方法及系统 |
CN108053406A (zh) * | 2017-09-11 | 2018-05-18 | 同济大学 | 基于多分辨率遥感影像的地表覆盖制图方法及装置 |
CN108053406B (zh) * | 2017-09-11 | 2021-05-11 | 同济大学 | 基于多分辨率遥感影像的地表覆盖制图方法及装置 |
CN107680109A (zh) * | 2017-09-15 | 2018-02-09 | 盐城禅图智能科技有限公司 | 一种引用逆注意力与像素相似度学习的图像语义分割方法 |
CN110084247A (zh) * | 2019-04-17 | 2019-08-02 | 上海师范大学 | 一种基于模糊特征的多尺度显著性检测方法及装置 |
CN111191650A (zh) * | 2019-12-30 | 2020-05-22 | 北京市新技术应用研究所 | 基于rgb-d图像视觉显著性的物品定位方法与系统 |
CN111191650B (zh) * | 2019-12-30 | 2023-07-21 | 北京市新技术应用研究所 | 基于rgb-d图像视觉显著性的物品定位方法与系统 |
CN116503733A (zh) * | 2023-04-25 | 2023-07-28 | 北京卫星信息工程研究所 | 遥感图像目标检测方法、设备及存储介质 |
CN116503733B (zh) * | 2023-04-25 | 2024-02-06 | 北京卫星信息工程研究所 | 遥感图像目标检测方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104408733B (zh) | 2017-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104408733A (zh) | 基于对象随机游走的遥感图像视觉显著性检测方法及系统 | |
Pedergnana et al. | Classification of remote sensing optical and LiDAR data using extended attribute profiles | |
CN101840581B (zh) | 一种从卫星遥感影像中提取建筑物轮廓的方法 | |
CN103413151B (zh) | 基于图正则低秩表示维数约简的高光谱图像分类方法 | |
CN108830870A (zh) | 基于多尺度结构学习的卫星影像高精度农田边界提取方法 | |
CN107092870A (zh) | 一种高分辨率影像语意信息提取方法及系统 | |
CN102254326A (zh) | 利用核传递进行图像分割的方法 | |
Shen et al. | A polygon aggregation method with global feature preservation using superpixel segmentation | |
CN109034035A (zh) | 基于显著性检测和特征融合的行人重识别方法 | |
CN104835196B (zh) | 一种车载红外图像彩色化三维重建方法 | |
CN108537818A (zh) | 基于集群压力lstm的人群轨迹预测方法 | |
CN105528575A (zh) | 基于上下文推理的天空检测算法 | |
CN104239890A (zh) | 高分1号卫星的沿岸陆地土地覆被信息自动提取的方法 | |
CN107909079A (zh) | 一种协同显著性检测方法 | |
Shen et al. | A simplification of urban buildings to preserve geometric properties using superpixel segmentation | |
CN106875481A (zh) | 一种三维可视化遥感影像地表分类模型的制作方法 | |
CN112257496A (zh) | 一种基于深度学习的输电通道周围环境分类方法及系统 | |
Wang et al. | A region-line primitive association framework for object-based remote sensing image analysis | |
Kumar et al. | A hybrid cluster technique for improving the efficiency of colour image segmentation | |
CN104778683B (zh) | 一种基于泛函映射的多模态图像分割方法 | |
CN110853058B (zh) | 基于视觉显著性检测的高分辨率遥感影像道路提取方法 | |
CN107993242A (zh) | 基于机载LiDAR点云数据缺失区域边界提取方法 | |
CN105023269A (zh) | 一种车载红外图像彩色化方法 | |
CN101770577B (zh) | 无人机航片松材线虫病病死木的膨胀-剔除信息提取法 | |
CN107194942A (zh) | 一种确定影像分类分割尺度阈值的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |