CN102810158A - 一种基于多尺度语义模型的高分辨率遥感目标提取方法 - Google Patents

一种基于多尺度语义模型的高分辨率遥感目标提取方法 Download PDF

Info

Publication number
CN102810158A
CN102810158A CN201110143375XA CN201110143375A CN102810158A CN 102810158 A CN102810158 A CN 102810158A CN 201110143375X A CN201110143375X A CN 201110143375XA CN 201110143375 A CN201110143375 A CN 201110143375A CN 102810158 A CN102810158 A CN 102810158A
Authority
CN
China
Prior art keywords
mrow
msub
target
image
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110143375XA
Other languages
English (en)
Other versions
CN102810158B (zh
Inventor
李宇
孙显
王宏琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jigang Defense Technology Co ltd
Aerospace Information Research Institute of CAS
Original Assignee
Institute of Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Electronics of CAS filed Critical Institute of Electronics of CAS
Priority to CN201110143375.XA priority Critical patent/CN102810158B/zh
Publication of CN102810158A publication Critical patent/CN102810158A/zh
Application granted granted Critical
Publication of CN102810158B publication Critical patent/CN102810158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度语义模型的高分辨率遥感目标提取方法,涉及遥感图像技术,包括以下步骤:建立高分辨率遥感地物目标图像数据集;对训练集中的图像进行多尺度分割,得到目标的候选图像区域块;构建目标的语义模型,计算目标的隐含类别语义特征;对所有层次的候选图像块,进行语义特征分析;最后计算候选区域与目标模型的语义相关系数,并通过最大化语义相关系数提取目标。本发明方法综合利用图像的多尺度分割和目标类别语义信息进行高分辨率遥感图像中的目标提取,提取结果准确、鲁棒性好、适用性高,减少了人工参与程度,在地理信息系统和数字地球系统建设中具有一定的实用价值。

Description

一种基于多尺度语义模型的高分辨率遥感目标提取方法
技术领域
本发明涉及遥感图像信息处理领域中关于目标提取的方法,尤其是一种通过构建目标的语义模型来实现对高分辨率遥感图像中地物目标进行提取的方法,是一种综合利用图像多尺度信息和目标类别语义模型来进行高分辨率遥感图像中地物目标提取的方法。
背景技术
高分辨率遥感图像中的分辨率是指空间分辨率,其度量方法是单位像元对应的地面面积的大小。20世纪80-90年代的主要卫星遥感数据源是Landsat和Spot的卫星数据,分辨率为10-30m,现在只能称为中等分辨率图像。1999年Ikonos和2001年QuickBird的发射成功,提高了遥感图像的空间分辨率。Ikonos的全波段分辨率为1m,QuickBird的全波段分辨率达到0.61m。目前对于卫星遥感数据分辨率的划分,还没有一个统一明确的观点。一般认为2米左右或者分辨率高于2米的图像为高分辨率图像。高分辨率卫星影像能及时、准确地提供大量多时相、多波段的地物目标观测数据。传统遥感信息提取的实现方式依赖对遥感图像的人工目视解译,这种方法耗时多、周期长,影响了遥感技术作用的发挥。现代计算机性能的上升以及模式识别技术的进步使得遥感信息的自动提取成为可能。目前,目标提取和人工智能、机器学习等方面紧密相关,成为计算机研究与应用领域的一个热点。
一般的目标提取方法往往采用人工识别、手动标绘,耗费大量的时间,效率非常低。一些半自动的人工交互式图像分割技术在自然场景的目标提取取得了较好的效果,如:Graph Cut、Grab Cut等。但是这种半自动的交互式图像分割技术效率较低,并且需要用户输入来确定一些像素的类别。为了提高效率,人们开始研究如何有效地自动提取目标:Fergus和Perona等提出了星座模型,将目标模型视为包括一系列片段的组合,每个部分具有各自的特性,通过最大化模型似然函数以实现对目标类型的学习与识别。(见R.Fergus,P.Perona,A.Zisserman.A Visual Category Filter for Google Images.Proceedings of European Conference on Computer Vision,2004,3021:242-256.)但是为了保证识别精度,这类模型一般复杂度较高,而且方法中还需要在样本图像中详细标注出目标的类别和具体位置,增加了训练的工作量。为此,很多研究者借鉴文本分析中的Bag-of-words方法,引入主题模型,直接从图像中学习图像的内容:将图像比作文本,将图像中存在的目标比作文本主题,不同的目标对应不同的主题。图像看作是多主题的混合,从而主题的信息决定了图像中的目标信息。Li Fei-Fei等采用LDA(Latent DirichletAnalysis)模型,(见L.Fei-Fei,P.Perona.A bayesianhierarchical model for learning natural scene categories.Proc.of IEEE Computer Vision and Pattern Recognition,2005,524-531.)Zisserman等采用PLSA(Probabilistic Latent SemanticAnalysis)模型,(见A.Bosch,A.Zisserman,X.Munoz.Sceneclassification via PLSA.In:Proceedings of EuropeanConference on Computer Vision.Graz,Austria:Springer,2006,517-530.)二者将图片分成固定大小的网格,每个网格使用归一化的灰度值和统一的描述子组成特征向量,通过学习生成不同场景的词汇表,提取图像的主题分布信息,对图像场景具有较高的识别率。然而,这些方法从全局信息出发通过主题分布提取图像类别信息和图像中的目标信息,却不能够获取这些目标的准确位置,更加不能准确提取出目标。同时,对于复杂图像来说,由于图像的复杂性、存在目标结构的多样性,以及目标自身的类内方差的存在,图像中的不同目标的最佳分割尺度并不相同,单一尺度的分割会造成图像中目标的过分割。
发明内容
本发明的目的是提供一种基于多尺度语义模型的遥感目标提取方法,首先通过多尺度分割,获取目标的候选图像区域;然后采用主题模型建模,以概率直方图的形式表达目标内包含的隐含特征和语义规律;最终由这些隐含语义特征构成目标的语义模型,通过最大化语义相关系数,实现目标的自动提取。本发明克服了现有高分辨率遥感图像中人造地物目标提取方法中存在的误检问题,提高了提取的准确性和智能性,减少了人工参与的程度,能够满足复杂结构目标的自动提取和图像解译需求。本发明解决了如何综合利用图像的多尺度分割和目标类别语义模型来进行高分辨率遥感图像中地物目标的自动提取问题。
为达到上述目的,本发明的技术解决方案如下:
一种基于多尺度语义模型的高分辨率遥感目标提取方法,其包括以下步骤:
第一步,对分辨率为1米的高分辨率遥感图像进行多尺度分割,建立感兴趣目标候选区域集;
第二步,采用LDA(Latent Dirichlet Allocation)方法对目标进行语义建模,计算目标包含的隐含类别语义特征;
第三步,获取目标候选区域所有图像块的词的分布直方图集合,对每一个候选区域进行语义系数计算,判定图像块的语义属性;
第四步,采用多尺度分割与语义分析相结合的多尺度语义模型对目标进行自动提取:按照第一步所述获得待识别图像的多尺度结构,从该多尺度结构中选取候选区域块b1,b2,...bL,提交给目标对象的语义模型,获得各个区域块的匹配相似度s1,s2,...sL,选取最优相似sbest=arg maxs sl对应的尺度即为目标的最优结构,还原对应的区域块,即得到目标的所在区域。
所述的遥感目标提取方法,其所述第一步,具体方法是:
a)对于特定的遥感目标类别,选取200幅图像作为该类目标图像集:
b)对高分辨率遥感目标图像集中的图像,采用多尺度方法进行分割:明确尺度l下各个层次的分割对象块数Kl;将给定的第l层图像视为四向连接图,把Normalized-cut分割算法与每层分割对象块数Kl相关联,获取图像分割结果;
c)在目标各个候选区域、尺度l和分割对象块数Kl之间构建对应关系。
所述的遥感目标提取方法,其所述第二步,具体方法是:
a)把分割获得的每个图像块区域作为处理对象,提取各个图像块中的Harris-Affine特征和宽基线特征MSER,并对获得的每一个特征采用SIFT描述子,得到一个128维的特征向量;
b)使用K-Means聚类方法对代表集中所有图像各个层次上的特征进行量化,每个聚类中心的取值对应一个视觉单词,构成通用视觉词汇表,可通过改变聚类中心个数调整单词个数N;
c)、对分割获得的图像区域块中的每一个特征进行视觉单词映射描述,应用LDA分析方法构建出目标的语义模型,求解模型参数后计算得到目标对应的隐含主题语义分布规律,包括以下步骤:
c1、约定映射关系,即令特征描述子对应视觉单词w,为N个单词集合中的一项,图像区域块对应文档D,由M个单词序列D={w1,w2,...,wM}组成;
c2、随机生成一个1×k的向量θ,该向量服从Dirichlet分布,k为主题个数,选择主题zn服从多项式分布,选择单词wn的分布p(wn|zn,β)为主题zn的多项式条件分布,单词的概率参数β为k×N矩阵,其中βij=p(wj=1|zi=1);
c3、获取主题z、N个单词w及混合参数θ的联合分布,通过最大化后验概率P(w|z)利用Gibbs抽样间接求得主题中词汇的多项分布和图像中主题的多项分布的值;
d)获得模型参数后,得到目标包含各个类别主题的分布规律,同时得到每一个候选区域中包含各个类别主题的概率分布,以类别直方图的形式表示。
所述的遥感目标提取方法,其所述第三步,具体方法是:
A)由第二步的b)步获取一幅图像中的所有分割块的b1,b2,...,bL},计算它们与所有主题分布之间的相似匹配度;
B)依据KL散度计算图像块的语义属性,依次对图像的各个像素判定其主题归属;
C)对于一幅遥感地物目标代表图像,共计获得L×K个目标语义模型的相似度,当相似度大于相似阈值thsimi时,认为该区域块是体现目标语义特征或主题分布的区域,取thsimi值为0.5。
所述的遥感目标提取方法,其所述第一步的b)步,在计算多尺度分割结果时,首先将图像视为一个四向连接图G=(V,E),V为代表像素的结点集,E为相邻结点的连接边集,然后按照分割数Kl,利用Normalized-cut算法求解分割:
Ncut ( A , B ) = cut ( A , B ) assoc ( A , V ) + cut ( A , B ) assoc ( B , V ) - - - ( 1 )
其中,A和B为互不相交,且满足A∪B=V和
Figure BDA0000065011490000052
cut ( A , B ) = Σ i ∈ A , j ∈ B w ( i , j ) , assoc ( A , V ) = Σ i ∈ A , j ∈ V w ( i , j ) , w(i,j)为A与B之间所有边对应的权值。
所述的遥感目标提取方法,其所述第二步的c)步中,主题数的设置直接影响获取的主题结构:主题个数过少,则会降低算法的精度;主题个数过多,单一类别被划分为不同主题,影响模型的可靠性;
最优主题数的选取依据主题平均相似度最小准则,主题平均相似度的计算公式如下:
CorreMean = Σ i = 1 K - 1 Σ j = i + 1 K Corre ( z i , z j ) / K ( K - 1 ) / 2 - - - ( 2 )
K*=arg mink CorreMean(k)    (3)
其中,K是主题数,K*是最优主题数,zi代表第i个主题向量。Corre(zi,zj)表示向量zi与zj的互相关。
所述的遥感目标提取方法,其所述第二步的c3步中,在求解参数时,可以获得结点对象中主题z、N个单词w及混合参数θ的联合分布:
p ( θ , z , w | α , β ) = p ( θ | α ) Π n = 1 N p ( z n | θ ) p ( w n | z n , β ) - - - ( 4 )
由于无法直接求解,可采用近似推理的方法,选择简单的MCMC推理方法Gibbs抽样;Gibbs抽样过程中相关表达式更新方式如下:
P ( z i = j | z - i , w i ) = n - i , j ( w i ) + β n - i , j ( · ) + Lβ · n - i , j ( d i ) + α n - i ( d i ) + Kα - - - ( 5 )
Figure BDA0000065011490000063
θ ^ z = j ( d ) = n j ( d ) + α n ( d ) + Kα - - - ( 7 )
其中,
Figure BDA0000065011490000065
表示词汇w被分配给主题j的频数;
Figure BDA0000065011490000066
表示分配给主题j的所有次数;
Figure BDA0000065011490000067
表示文本d中分配给主题j的次数;n(d)表示文本d所有被分配了主题的次数;L是字典容量,K是主题个数;
通过(5)~(7)式的迭代更新,最终获得稳定的
Figure BDA0000065011490000068
和θ,其中
Figure BDA0000065011490000069
是K×L的矩阵,其中每一行表示相应主题在词上的分布,描述了相应的主题的内容;θ是M×K的矩阵,其中每一行表示相应文档中的主题概率分布,也就是LDA模型中各概率混合分量的加权值。
所述的遥感目标提取方法,其所述第三步的B)步中,判定语义属性的计算步骤:假设第l个图像块在词空间的向量表示记作Pl(x),第k个主题的词分布记作Qk(x);图像块与主题之间的KL散度为:
KL ( P l ( x ) , Q k ( x ) ) = ∫ P l ( x ) log P l ( x ) Q k ( x ) dx - - - ( 8 )
其中,1≤k≤主题数,KL(Pl(x),Qk(x))简记为λlk=KL(Pl,Qk)=KL(Pl(x),Qk(x));
针对不同层次的图像块,语义相关参数集合
Figure BDA0000065011490000071
语义相关函数定义为ψloc,其中loc={(i,j)}
代表图像块的像素集合;利用KL散度定义的语义相关函数:
Figure BDA0000065011490000072
其中,ξk是只有第k项为1的K维向量,ε是任意选取的正数;
对于特定的图像块来说,图像块的语义属性标记Sloc为:
S loc = arg max ψ loc ( λ lk ) , k arg max k ψ loc ( λ lk ) > threshold backgrounds , others - - - ( 10 )
其中,threshold代表判决阈值,backgrounds表示没有对该图像块进行主题标记。
本发明方法在基于多尺度分割的框架下引入目标语义模型,充分利用图像的多尺度信息,挖掘目标的语义特征,提取图像中隐含的特征信息;采用主题模型的方法提取能够抽象概括目标中包含的各个子类别或主题,提高对目标类别语义信息的表达精度;同时,整个学习过程中所需的样本图像无需人工标注,并可应用于小规模的训练图像集,具有鲁棒性和实际应用价值。本发明方法能有效提取高分辨率遥感图像下的地物目标,在地理信息系统和数字地球系统建设中具有一定的实用价值。
附图说明
图1为本发明基于多尺度语义模型的遥感目标自动提取方法的流程示意图;
图2为本发明方法中第二步获取目标语义信息的模型示意图;
图3为本发明方法所采用的高分辨率遥感目标代表图像集中的部分样例图像;
图4为图3所示的高分辨率遥感目标图像集中学习获得的飞机目标语义主题的词分布直方图及其在训练图像集中对应的图像区域块;其中:
图4a1、图4a2为主题的词分布直方图;
图4b1、图4b2为相应的图像区域块;
图5为图3所示的高分辨率遥感目标代表图像集中进行目标自动提取的部分结果示意图;其中:
图5a1、图5a2、图5a3、图5a4为代表图像集中的测试图像;图5b1、图5b2、图5b3、图5b4为采用Normalized-cut分割算法分割数为3时的分割结果;
图5c1、图5c2、图5c3、图5c4为采用本发明方法的分割结果;图5d1、图5d2、图5d3、图5d4为采用本发明方法的目标提取结果。
具体实施方式
以下结合实施例和附图对本发明方法进一步说明。
图1为本发明基于多尺度语义模型的高分辨率遥感目标提取方法的流程示意图,具体步骤包括:
第一步,建立高分辨率遥感地物目标的候选区域集合:
遥感人造地物目标数据集中的图片从GoogleEarth中截取获得。这些图片的分辨率在1米左右。由200幅图像组成。图像的平均尺寸为大约200×200像素。如图3所示。对于每类目标图像,取其中的130幅用于训练,70幅用于测试。
对训练图像进行多尺度分割:利用Normalized-cut算法对各个训练图像按照给定的尺度和分割块数进行分割。将给定的第l层图像视为一个四向连接图,把Normalized-cut分割算法与尺度空间下每一层的分割对象块数Kl相关联,获取对图像的一个分割结果。分割完成后,得到的不同层次尺度下的目标候选区域集合。
第二步,计算目标包含的隐含类别语义特征:
2.1、提取各个图像块中的Harris-Affine特征和MSER宽基线特征,用SIFT描述子描述,得到特征的128维描述向量;
2.2、对所有图像各个层次上所有图像块提取的特征向量进行K-Means聚类量化,聚类中心个数取值为500,得到通用视觉词汇表;
2.3、应用LDA分析方法对感兴趣目标构建模型,对图像集进行“文档/字”描述,获取算法的数据项。初始化模型的参数(α,β)后采用Gibbs抽样推断参数。记主题中词汇的多项分布为
Figure BDA0000065011490000091
图像中主题的多项分布为ψ,考虑词汇对于主题的后验概率P(w|z),利用Gibbs抽样间接求得和ψ的值。如图2所示;主题数的设置直接影响获取的主题结构,依据主题平均相似度最小准则选取最优主题数。
2.4、获得模型参数后,得到目标包含各个类别主题的分布规律,同时得到每一个候选区域中包含各个类别主题的概率分布,以类别直方图的形式表示。例如,事先定义了20个不同的类别,相当于20个主题,那么可以得到一个20维的概率向量,以类别直方图的形式表示,作为结点的属性描述,图4显示了取参数为K=20时,部分主题分布结果及所对应的图像块。
第三步,对待提取的图像,先按照本发明之前所述获得多尺度分割结构,并统计各个分割块特征属性;从该多尺度结构中选取候选区域块b1,b2,...bL,提交给目标对象的语义模型,获得各个区域块的匹配相似度s1,s2,...sL
第四步,根据第三步获得的各个区域块的相似度,选取最优相似sbest=arg maxs sl对应的尺度即为目标的最优结构,还原对应的区域块,即可得到目标的所在区域。如图5d1、图5d2、图5d3、图5d4所示。

Claims (8)

1.一种基于多尺度语义模型的高分辨率遥感目标提取方法,其特征在于,包括以下步骤:
第一步,对分辨率为1米的高分辨率遥感图像进行多尺度分割,建立感兴趣目标候选区域集;
第二步,采用LDA方法对目标进行语义建模,计算目标包含的隐含类别语义特征;
第三步,获取目标候选区域所有图像块的词的分布直方图集合,对每一个候选区域进行语义系数计算,判定图像块的语义属性;
第四步,采用多尺度分割与语义分析相结合的多尺度语义模型对目标进行自动提取:按照第一步所述获得待识别图像的多尺度结构,从该多尺度结构中选取候选区域块b1,b2,...bL,提交给目标对象的语义模型,获得各个区域块的匹配相似度s1,s2,...sL,选取最优相似sbest=arg maxs sl对应的尺度即为目标的最优结构,还原对应的区域块,即得到目标的所在区域。
2.如权利要求1所述的遥感目标提取方法,其特征在于,所述第一步,具体方法是:
a)对于特定的遥感目标类别,选取200幅图像作为该类目标图像集;
b)对高分辨率遥感目标图像集中的图像,采用多尺度方法进行分割:明确尺度l下各个层次的分割对象块数Kl;将给定的第l层图像视为四向连接图,把Normalized-cut分割算法与每层分割对象块数Kl相关联,获取图像分割结果;
c)在目标各个候选区域、尺度l和分割对象块数Kl之间构建对应关系。
3.如权利要求1所述的遥感目标提取方法,其特征在于,所述第二步,具体方法是:
a)把分割获得的每个图像块区域作为处理对象,提取各个图像块中的Harris-Affine特征和宽基线特征MSER,并对获得的每一个特征采用SIFT描述子,得到一个128维的特征向量;
b)使用K-Means聚类方法对代表集中所有图像各个层次上的特征进行量化,每个聚类中心的取值对应一个视觉单词,构成通用视觉词汇表,可通过改变聚类中心个数调整单词个数N;
c)、对分割获得的图像区域块中的每一个特征进行视觉单词映射描述,应用LDA分析方法构建出目标的语义模型,求解模型参数后计算得到目标对应的隐含主题语义分布规律,包括以下步骤:
c1、约定映射关系,即令特征描述子对应视觉单词w,为N个单词集合中的一项,图像区域块对应文档D,由M个单词序列D={w1,w2,...,wM}组成;
c2、随机生成一个1×k的向量θ,该向量服从Dirichlet分布,k为主题个数,选择主题zn服从多项式分布,选择单词wn的分布p(wn|zn,β)为主题zn的多项式条件分布,单词的概率参数β为k×N矩阵,其中βij=p(wj=1|zi=1);
c3、获取主题z、N个单词w及混合参数θ的联合分布,通过最大化后验概率P(w|z)利用Gibbs抽样间接求得主题中词汇的多项分布和图像中主题的多项分布的值;
d)获得模型参数后,得到目标包含各个类别主题的分布规律,同时得到每一个候选区域中包含各个类别主题的概率分布,以类别直方图的形式表示。
4.如权利要求1或3所述的遥感目标提取方法,其特征在于,所述第三步,具体方法是:
A)由第二步的b)步获取一幅图像中的所有分割块的{b1,b2,...,bL},计算它们与所有主题分布之间的相似匹配度;
B)依据KL散度计算图像块的语义属性,依次对图像的各个像素判定其主题归属;
C)对于一幅遥感地物目标代表图像,共计获得L×K个目标语义模型的相似度,当相似度大于相似阈值thsimi时,认为该区域块是体现目标语义特征或主题分布的区域,取thsimi值为0.5。
5.如权利要求2所述的遥感目标提取方法,其特征在于,所述第一步的b)步,在计算多尺度分割结果时,首先将图像视为一个四向连接图G=(V,E),V为代表像素的结点集,E为相邻结点的连接边集,然后按照分割数Kl,利用Normalized-cut算法求解分割:
Ncut ( A , B ) = cut ( A , B ) assoc ( A , V ) + cut ( A , B ) assoc ( B , V ) - - - ( 1 )
其中,A和B为互不相交,且满足A∪B=V和
Figure FDA0000065011480000032
cut ( A , B ) = Σ i ∈ A , j ∈ B w ( i , j ) , assoc ( A , V ) = Σ i ∈ A , j ∈ V w ( i , j ) , w(i,j)为A与B之间所有边对应的权值。
6.如权利要求3所述的遥感目标提取方法,其特征在于,所述第二步的c)步中,主题数的设置直接影响获取的主题结构:主题个数过少,则会降低算法的精度;主题个数过多,单一类别被划分为不同主题,影响模型的可靠性;
最优主题数的选取依据主题平均相似度最小准则,主题平均相似度的计算公式如下:
CorreMean = Σ i = 1 K - 1 Σ j = i + 1 K Corre ( z i , z j ) / K ( K - 1 ) / 2 - - - ( 2 )
K*=arg mink CorreMean(k)    (3)
其中,K是主题数,K*是最优主题数,zi代表第i个主题向量。Corre(zi,zj)表示向量zi与zj的互相关。
7.如权利要求3所述的遥感目标提取方法,其特征在于,所述第二步的c3步中,在求解参数时,可以获得结点对象中主题z、N个单词w及混合参数θ的联合分布:
p ( θ , z , w | α , β ) = p ( θ | α ) Π n = 1 N p ( z n | θ ) p ( w n | z n , β ) - - - ( 4 )
由于无法直接求解,可采用近似推理的方法,选择简单的MCMC推理方法Gibbs抽样;Gibbs抽样过程中相关表达式更新方式如下:
P ( z i = j | z - i , w i ) = n - i , j ( w i ) + β n - i , j ( · ) + Lβ · n - i , j ( d i ) + α n - i ( d i ) + Kα - - - ( 5 )
θ ^ z = j ( d ) = n j ( d ) + α n ( d ) + Kα - - - ( 7 )
其中,
Figure FDA0000065011480000043
表示词汇w被分配给主题j的频数;
Figure FDA0000065011480000044
表示分配给主题j的所有次数;
Figure FDA0000065011480000045
表示文本d中分配给主题j的次数;n(d)表示文本d所有被分配了主题的次数;L是字典容量,K是主题个数;
通过(5)~(7)式的迭代更新,最终获得稳定的和θ,其中
Figure FDA0000065011480000047
是K×L的矩阵,其中每一行表示相应主题在词上的分布,描述了相应的主题的内容;θ是M×K的矩阵,其中每一行表示相应文档中的主题概率分布,也就是LDA模型中各概率混合分量的加权值。
8.如权利要求4所述的遥感目标提取方法,其特征在于,所述第三步的B)步中,判定语义属性的计算步骤:假设第l个图像块在词空间的向量表示记作Pl(x),第k个主题的词分布记作Qk(x);图像块与主题之间的KL散度为:
KL ( P l ( x ) , Q k ( x ) ) = ∫ P l ( x ) log P l ( x ) Q k ( x ) dx - - - ( 8 )
其中,1≤k≤主题数,KL(Pl(x),Qk(x))简记为λlk=KL(Pl,Qk)=KL(Pl(x),Qk(x));
针对不同层次的图像块,语义相关参数集合
Figure FDA0000065011480000049
语义相关函数定义为ψloc,其中loc={(i,j)}代表图像块的像素集合;利用KL散度定义的语义相关函数:
Figure FDA00000650114800000410
其中,ξk是只有第k项为1的K维向量,ε是任意选取的正数;
对于特定的图像块来说,图像块的语义属性标记Sloc为:
S loc = arg max ψ loc ( λ lk ) , k arg max k ψ loc ( λ lk ) > threshold backgrounds , others - - - ( 10 )
其中,threshold代表判决阈值,backgrounds表示没有对该图像块进行主题标记。
CN201110143375.XA 2011-05-31 2011-05-31 一种基于多尺度语义模型的高分辨率遥感目标提取方法 Active CN102810158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110143375.XA CN102810158B (zh) 2011-05-31 2011-05-31 一种基于多尺度语义模型的高分辨率遥感目标提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110143375.XA CN102810158B (zh) 2011-05-31 2011-05-31 一种基于多尺度语义模型的高分辨率遥感目标提取方法

Publications (2)

Publication Number Publication Date
CN102810158A true CN102810158A (zh) 2012-12-05
CN102810158B CN102810158B (zh) 2015-02-04

Family

ID=47233862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110143375.XA Active CN102810158B (zh) 2011-05-31 2011-05-31 一种基于多尺度语义模型的高分辨率遥感目标提取方法

Country Status (1)

Country Link
CN (1) CN102810158B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218598A (zh) * 2013-03-26 2013-07-24 中国科学院电子学研究所 一种基于随机几何模型的遥感地物目标自动检测方法
CN103984946A (zh) * 2014-05-23 2014-08-13 北京联合大学 一种基于K-means的高分辨率遥感地图道路提取方法
CN104112136A (zh) * 2013-04-19 2014-10-22 昆山鸿鹄信息技术服务有限公司 一种图像底层视觉特征的提取方法
CN104182968A (zh) * 2014-08-05 2014-12-03 西北工业大学 宽基线多阵列光学探测系统模糊动目标分割方法
CN104252624A (zh) * 2014-08-29 2014-12-31 西安空间无线电技术研究所 一种星载区域点目标图像的定位和提取方法
CN104899547A (zh) * 2015-03-17 2015-09-09 黑龙江八一农垦大学 基于图像理解的农作物病害诊断方法
CN105117494A (zh) * 2015-09-23 2015-12-02 中国搜索信息科技股份有限公司 模糊语境中的空间实体映射方法
CN106408030A (zh) * 2016-09-28 2017-02-15 武汉大学 基于中层语义属性和卷积神经网络的sar图像分类方法
CN106709989A (zh) * 2016-11-18 2017-05-24 武汉理工大学 基于面向对象影像特征的地理本体建模与语义推理方法
CN104166836B (zh) * 2014-05-08 2017-07-14 清华大学深圳研究生院 一种基于多特征建模的分块多尺度工程车识别方法及系统
CN106991397A (zh) * 2017-03-31 2017-07-28 中国科学院电子学研究所 基于视觉显著性约束深度置信网络的遥感图像检测方法
CN107045724A (zh) * 2017-04-01 2017-08-15 昆明理工大学 一种低分辨率下物体移动方向的马尔科夫判断方法
CN107092870A (zh) * 2017-04-05 2017-08-25 武汉大学 一种高分辨率影像语意信息提取方法及系统
CN107688821A (zh) * 2017-07-11 2018-02-13 西安电子科技大学 基于视觉显著性与语义属性跨模态图像自然语言描述方法
CN109359583A (zh) * 2018-10-15 2019-02-19 中国科学院地理科学与资源研究所 一种遥感影像中显著性面状特定目标提取方法
CN110046271A (zh) * 2019-03-22 2019-07-23 中国科学院西安光学精密机械研究所 一种基于声音指导的遥感图像描述方法
CN111144410A (zh) * 2019-12-26 2020-05-12 齐鲁工业大学 一种跨模态的图像语义提取方法、系统、设备及介质
CN111815645A (zh) * 2020-06-23 2020-10-23 广州筷子信息科技有限公司 一种广告视频画面裁剪的方法和系统
CN111931689A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种在线提取视频卫星数据鉴别特征的方法
CN112802569A (zh) * 2021-02-05 2021-05-14 北京嘉和海森健康科技有限公司 一种语义信息的获取方法、装置、设备及可读存储介质
CN112883839A (zh) * 2021-02-02 2021-06-01 重庆市地理信息和遥感应用中心 基于自适应样本集构造与深度学习的遥感影像解译方法
CN117876878A (zh) * 2024-01-28 2024-04-12 宜昌黑鹿屿森科技有限公司 高分遥感图像人工构建筑场景智能分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101126812A (zh) * 2007-09-27 2008-02-20 武汉大学 高分辨率遥感影像的分割和分类及变化检测一体化方法
CN101408941A (zh) * 2008-10-20 2009-04-15 中国科学院遥感应用研究所 遥感图像多尺度分割及分割结果的层次结构表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101126812A (zh) * 2007-09-27 2008-02-20 武汉大学 高分辨率遥感影像的分割和分类及变化检测一体化方法
CN101408941A (zh) * 2008-10-20 2009-04-15 中国科学院遥感应用研究所 遥感图像多尺度分割及分割结果的层次结构表示方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XIAN SUN EL AT.: "《Automatic Detection of Geospatial Objects Using Taxonomic Semantics》", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, vol. 7, no. 1, 31 January 2010 (2010-01-31) *
XIAN SUN EL AT.: "《CONTEXTUAL MODELS FOR AUTOMATIC BUILDING EXTRACTION IN HIGH RESOLUTION REMOTE SENSING IMAGE USING OBJECT-BASED BOOSTING METHOD》", 《IEEE IGRASS》, 31 December 2008 (2008-12-31), pages 437 - 440 *
孙显等: "《基于对象的Boosting 方法自动提取高分辨率遥感图像中建筑物目标》", 《电子与信息学报》, vol. 31, no. 1, 31 January 2009 (2009-01-31), pages 177 - 181 *
明冬萍等: "《高分辨率遥感影像信息提取与目标识别技术研究》", 《测绘科学》, vol. 30, no. 3, 30 June 2005 (2005-06-30) *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218598A (zh) * 2013-03-26 2013-07-24 中国科学院电子学研究所 一种基于随机几何模型的遥感地物目标自动检测方法
CN104112136A (zh) * 2013-04-19 2014-10-22 昆山鸿鹄信息技术服务有限公司 一种图像底层视觉特征的提取方法
CN104166836B (zh) * 2014-05-08 2017-07-14 清华大学深圳研究生院 一种基于多特征建模的分块多尺度工程车识别方法及系统
CN103984946B (zh) * 2014-05-23 2017-04-26 北京联合大学 一种基于K‑means的高分辨率遥感地图道路提取方法
CN103984946A (zh) * 2014-05-23 2014-08-13 北京联合大学 一种基于K-means的高分辨率遥感地图道路提取方法
CN104182968A (zh) * 2014-08-05 2014-12-03 西北工业大学 宽基线多阵列光学探测系统模糊动目标分割方法
CN104182968B (zh) * 2014-08-05 2017-03-15 西北工业大学 宽基线多阵列光学探测系统模糊动目标分割方法
CN104252624B (zh) * 2014-08-29 2017-07-07 西安空间无线电技术研究所 一种星载区域点目标图像的定位和提取方法
CN104252624A (zh) * 2014-08-29 2014-12-31 西安空间无线电技术研究所 一种星载区域点目标图像的定位和提取方法
CN104899547A (zh) * 2015-03-17 2015-09-09 黑龙江八一农垦大学 基于图像理解的农作物病害诊断方法
CN105117494A (zh) * 2015-09-23 2015-12-02 中国搜索信息科技股份有限公司 模糊语境中的空间实体映射方法
CN105117494B (zh) * 2015-09-23 2019-03-08 中国搜索信息科技股份有限公司 模糊语境中的空间实体映射方法
CN106408030A (zh) * 2016-09-28 2017-02-15 武汉大学 基于中层语义属性和卷积神经网络的sar图像分类方法
CN106408030B (zh) * 2016-09-28 2019-06-25 武汉大学 基于中层语义属性和卷积神经网络的sar图像分类方法
CN106709989A (zh) * 2016-11-18 2017-05-24 武汉理工大学 基于面向对象影像特征的地理本体建模与语义推理方法
CN106709989B (zh) * 2016-11-18 2020-04-21 武汉理工大学 基于面向对象影像特征的地理本体建模与语义推理方法
CN106991397A (zh) * 2017-03-31 2017-07-28 中国科学院电子学研究所 基于视觉显著性约束深度置信网络的遥感图像检测方法
CN107045724A (zh) * 2017-04-01 2017-08-15 昆明理工大学 一种低分辨率下物体移动方向的马尔科夫判断方法
CN107045724B (zh) * 2017-04-01 2020-02-07 昆明理工大学 一种低分辨率下物体移动方向的马尔科夫判断方法
CN107092870A (zh) * 2017-04-05 2017-08-25 武汉大学 一种高分辨率影像语意信息提取方法及系统
CN107092870B (zh) * 2017-04-05 2019-11-26 武汉大学 一种高分辨率影像语义信息提取方法
CN107688821A (zh) * 2017-07-11 2018-02-13 西安电子科技大学 基于视觉显著性与语义属性跨模态图像自然语言描述方法
CN107688821B (zh) * 2017-07-11 2021-08-06 西安电子科技大学 基于视觉显著性与语义属性跨模态图像自然语言描述方法
CN109359583A (zh) * 2018-10-15 2019-02-19 中国科学院地理科学与资源研究所 一种遥感影像中显著性面状特定目标提取方法
CN110046271B (zh) * 2019-03-22 2021-06-22 中国科学院西安光学精密机械研究所 一种基于声音指导的遥感图像描述方法
CN110046271A (zh) * 2019-03-22 2019-07-23 中国科学院西安光学精密机械研究所 一种基于声音指导的遥感图像描述方法
CN111144410A (zh) * 2019-12-26 2020-05-12 齐鲁工业大学 一种跨模态的图像语义提取方法、系统、设备及介质
CN111144410B (zh) * 2019-12-26 2023-08-04 齐鲁工业大学 一种跨模态的图像语义提取方法、系统、设备及介质
CN111815645A (zh) * 2020-06-23 2020-10-23 广州筷子信息科技有限公司 一种广告视频画面裁剪的方法和系统
CN111931689B (zh) * 2020-08-26 2021-04-23 北京建筑大学 一种在线提取视频卫星数据鉴别特征的方法
CN111931689A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种在线提取视频卫星数据鉴别特征的方法
CN112883839A (zh) * 2021-02-02 2021-06-01 重庆市地理信息和遥感应用中心 基于自适应样本集构造与深度学习的遥感影像解译方法
CN112802569A (zh) * 2021-02-05 2021-05-14 北京嘉和海森健康科技有限公司 一种语义信息的获取方法、装置、设备及可读存储介质
CN112802569B (zh) * 2021-02-05 2023-08-08 北京嘉和海森健康科技有限公司 一种语义信息的获取方法、装置、设备及可读存储介质
CN117876878A (zh) * 2024-01-28 2024-04-12 宜昌黑鹿屿森科技有限公司 高分遥感图像人工构建筑场景智能分类方法

Also Published As

Publication number Publication date
CN102810158B (zh) 2015-02-04

Similar Documents

Publication Publication Date Title
CN102810158B (zh) 一种基于多尺度语义模型的高分辨率遥感目标提取方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
WO2018023734A1 (zh) 一种3d图像的显著性检测方法
CN110851645B (zh) 一种基于深度度量学习下相似性保持的图像检索方法
CN108345850B (zh) 基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法
CN102013017B (zh) 一种高分辨率遥感图像场景粗分类方法
CN106599051B (zh) 一种基于生成图像标注库的图像自动标注的方法
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
WO2022062419A1 (zh) 基于非督导金字塔相似性学习的目标重识别方法及系统
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN112308115B (zh) 一种多标签图像深度学习分类方法及设备
Yu et al. Automatic interesting object extraction from images using complementary saliency maps
CN102542302A (zh) 基于分等级对象语义图的复杂目标自动识别方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN104376105A (zh) 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法
CN112257441B (zh) 一种基于反事实生成的命名实体识别增强方法
CN109410238A (zh) 一种基于PointNet++网络的枸杞识别计数方法
CN110378911B (zh) 基于候选区域和邻域分类器的弱监督图像语义分割方法
CN109086794B (zh) 一种基于t-lda主题模型的驾驶行为模式识方法
Oluwasammi et al. Features to text: a comprehensive survey of deep learning on semantic segmentation and image captioning
Wang et al. A comprehensive survey of optical remote sensing image segmentation methods
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN113297936A (zh) 一种基于局部图卷积网络的排球群体行为识别方法
CN105931241A (zh) 一种自然场景图像的自动标注方法
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201223

Address after: 250101 No.9, Kuangyuan Road, Gongye North Road, Wangsheren street, Licheng District, Jinan City, Shandong Province

Patentee after: Jigang Defense Technology Co.,Ltd.

Address before: 100190 No. 19 West North Fourth Ring Road, Haidian District, Beijing

Patentee before: Aerospace Information Research Institute,Chinese Academy of Sciences

Effective date of registration: 20201223

Address after: 100190 No. 19 West North Fourth Ring Road, Haidian District, Beijing

Patentee after: Aerospace Information Research Institute,Chinese Academy of Sciences

Address before: 100190 No. 19 West North Fourth Ring Road, Haidian District, Beijing

Patentee before: Institute of Electronics, Chinese Academy of Sciences

TR01 Transfer of patent right