CN107807986B - 一种描述地物空间关系语义的遥感影像智能理解的方法 - Google Patents

一种描述地物空间关系语义的遥感影像智能理解的方法 Download PDF

Info

Publication number
CN107807986B
CN107807986B CN201711045073.2A CN201711045073A CN107807986B CN 107807986 B CN107807986 B CN 107807986B CN 201711045073 A CN201711045073 A CN 201711045073A CN 107807986 B CN107807986 B CN 107807986B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
model
word
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711045073.2A
Other languages
English (en)
Other versions
CN107807986A (zh
Inventor
陈杰
韩雅荣
吴志祥
周兴
邓敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201711045073.2A priority Critical patent/CN107807986B/zh
Publication of CN107807986A publication Critical patent/CN107807986A/zh
Application granted granted Critical
Publication of CN107807986B publication Critical patent/CN107807986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种描述地物空间关系语义的遥感影像智能理解的方法,包括构建遥感影像语义理解基准库和进行遥感影像的语义智能描述,构建遥感影像语义理解基准库包括获取遥感影像块、遥感影像块对应的矢量数据块、遥感影像块对应的描述语句、遥感影像块中的目标及各目标之间的关系图等内容;进行遥感影像的语义智能描述包括对模型进行训练、对模型进行测试以及对数据库以外的遥感影像块进行基于地物空间关系的遥感影像智能描述。应用本发明的技术方案,效果是:从不同的角度实现对遥感影像的理解;建立的遥感影像高级语义基准库允许后期再行添加遥感影像对应的描述语句,有利于提高计算机的影像理解及描述的能力;处理方法精简,易于实现。

Description

一种描述地物空间关系语义的遥感影像智能理解的方法
技术领域
本发明涉及图像视觉智能语义理解技术领域,具体涉及一种描述地物空间关系语义的遥感影像智能理解的方法。
背景技术
遥感影像作为地理信息研究方向重要的数据来源,从遥感影像中不断地获取丰富的可视信息以及深层的隐含信息,达到对遥感影像理解的目的,是一项关键而亟待解决的工作。传统的遥感影像理解方法以图像处理和图像分析为基础,从影像表面开始,进行特征,统计分析,对影像中的单个地物进行分析处理,所得结果也是针对地物的简单标记、识别和检测。不能达到对大幅影像中内容的场景级别的理解,也不能很好的反应出与实际地物的空间关系。
而随着近年来大数据的浪潮以及深度神经网络的复兴,深度学习越来越成为遥感影像智能理解的有力工具。那么如何构建一个遥感影像数据库,配合深度学习算法来达到遥感影像智能理解的目的,成为目前研究的热点。在自然图像领域,已经有相关学者构建了自然图像数据库,结合深度学习算法,达到了对自然图像的智能理解。参考文献BryanA.Plummer,Liwei Wang,Christopher M.Cervantes,Juan C.Caicedo,JuliaHockenmaier,and Svetlana Lazebnik,Flickr30k Entities:Collecting Region-to-Phrase Correspondences for Richer Image-to-Sentence Models,IJCV,123(1):74-93,2017,为每幅图像添加文字描述,并使用检测框对影像中的目标进行检测,达到图像理解的目的。参考文献KrishnaR,ZhuY,Groth O,et al.Visual Genome:Connecting Languageand Vision Using Crowdsourced Dense Image Annotations[J].InternationalJournal of Computer Vision,2016:1-42,建立了视觉基因组数据库,分别从对象、属性、关系、区域、场景、问答等多方面对图像进行理解,达到对自然图像的高层次理解。然而这些数据库仅适用于自然图像领域,没有涉及到遥感影像,对于遥感影像来源丰富,分辨率不一,影像内容众多,地物复杂,容易受外界环境影响等诸多因素的个性化特征难以达到深层次的理解。
因此,急需构建一个操作方便、适用于遥感领域的遥感影像语义理解基准库以及使用深度学习方法对遥感影像的智能理解以克服现有技术的不足。
发明内容
本发明公开了一种描述地物空间关系语义的遥感影像智能理解的方法,具有操作方便、适用于遥感影像领域且对遥感影像进行智能理解并描述的特点,具体技术方案如下:
一种描述地物空间关系语义的遥感影像智能理解的方法,包括构建遥感影像语义理解基准库和进行遥感影像的语义智能描述;
构建遥感影像语义理解基准库具体包括以下步骤:
步骤A1、获取遥感影像及与遥感影像对应匹配的矢量数据;
步骤A2、矢量数据的筛选,具体是:保存能够反映地物基本类型的矢量数据和删除不能够反映地物基本类型的矢量数据;
步骤A3、遥感影像的分块裁剪和矢量数据的分块裁剪,具体是:生成多幅规定尺寸的遥感影像块;生成多幅与所述遥感影像块相匹配的多幅矢量数据块;
步骤A4、对第i块遥感影像块进行目标选择,具体是:根据矢量数据块中记录的属性数据确定遥感影像块中的目标,i为大于等于1且小于等于遥感影像块总数的自然数;
步骤A5、遥感影像块空间关系的确定,具体是:根据步骤A4所选择的目标,判定各目标之间的空间关系;
步骤A6、生成遥感影像块对应的描述语句,具体是:根据步骤A4所选择的遥感影像块中的目标、步骤A5所得各目标之间的空间关系以及构建的语句模板生成遥感影像块对应的描述语句;
步骤A7、根据步骤A6所得遥感影像块对应的描述语句构建遥感影像块中的目标及各目标之间关系图;
步骤A8、取i=i+1,若i大于遥感影像块总数,则进入下一步;否则,返回步骤A4;
步骤A9、获得包含有遥感影像块、遥感影像块对应的矢量数据块、遥感影像块对应的描述语句、遥感影像块中的目标及各目标之间的关系图的遥感影像语义理解基准库;
对遥感影像进行智能描述具体包括以下步骤:
步骤B1、对模型进行训练,具体是:从遥感影像语义理解基准库中选择M幅遥感影像块,提取此些遥感影像块的特征向量并对遥感影像块对应的描述语句进行词向量处理;将此些遥感影像块的特征向量及描述语句的词向量表示输入到模型中进行训练,使模型中的遥感影像块与描述语句中词语匹配的概率取得最大值并对模型中的参数进行更新,得到更新后的模型,其中:M为遥感影像语义理解基准库中遥感影像块总数的80%-90%;
步骤B2、对模型进行测试,具体是:选用遥感影像语义理解基准库中的N个余量遥感影像块,提取此些遥感影像块的特征向量并对遥感影像块对应的描述语句进行词向量处理;将此些遥感影像块的特征向量及描述语句的词向量表示输入到更新后的模型中进行处理得到遥感影像的描述语句,N为遥感影像语义理解基准库中遥感影像块总数的10%-20%;
步骤B3、基于训练并通过测试的模型,对数据库以外的遥感影像块进行基于地物空间关系的遥感影像智能描述。
以上技术方案中优选的,所述步骤A1中获取遥感影像及与遥感影像对应匹配的矢量数据的方式是:从互联网开源的众源OSM数据、国土部门以及测绘部门中至少一种方式获取;
所述步骤A2中反映地物基本类型的矢量数据包括耕地、园地、林地、草地、房屋建筑、道路、水域以及构建物中的至少一种;
所述步骤A3中遥感影像块的像素为600×600或800×800。
以上技术方案中优选的,所述步骤A4中确定遥感影像块中的目标的方法采用中心点法、面积占优法、百分比法以及重要性法中的至少一种;
所述步骤A5中的空间关系包括拓扑关系、方向关系和定性的距离关系,所述拓扑关系采用九交模型中相离、相接、覆盖、覆盖于、相交、重叠、包含以及包含于共8个拓扑关系;所述方向关系采用四方向模型和/或八方向模型进行确定;所述定性的距离关系使用目标之间的最短距离与遥感影像图幅范围的百分比值s判断定性距离关系,若0<s<0.5,则判定为近,若0.5<s<1,则判定为远。
以上技术方案中优选的,所述步骤A6中构建的语句模板包含依据地理认知表达和人们日常表达的习惯和方式归纳总结出常用的句式。
以上技术方案中优选的,所述步骤B1中:
遥感影像块的特征向量的获取方法是:对于遥感影像语义理解基准库中的遥感影像块I使用卷积神经网络进行训练,得到遥感影像块的特征向量CNN(I);x-1=CNN(I),CNN(I)为遥感影像块的特征向量;
词向量处理过程具体是:将此遥感影像块所对应的描述语句用S=(S0,…,St,…,SN)进行表示,其中:t∈{0,…,N-1},St为句子中每个词语的表示,S0为语句开始标记,SN表示结束标记;将n维向量St左乘嵌入矩阵We转化为向量xt,其中:We为k×n维向量;xt=WeSt,t∈{0,…,N-1};
所述步骤B1中训练过程具体是:将此些遥感影像块的特征向量及描述语句的词向量表示输入到模型中进行训练,以获取每个单词的最大概率pt并完成对模型参数的更新,得到新的模型,其中:Pt+1=LSTM(xt),t∈{0,…,N-1};所述模型为循环神经网络模型。
以上技术方案中优选的,所述步骤B2中对模型进行测试具体包括以下步骤:
步骤B2.1、选用遥感影像语义理解基准库中的N个余量遥感影像块,将此些遥感影像块使用卷积神经网络处理提取特征向量,对应的描述语句进行词向量处理并选取前k个单词作为模型的输入,开始进行预测生成语句,其中:k为大于等于1且小于等于词向量处理后对应描述语句中的单词的总数;
步骤B2.2、获得此遥感影像所对应的下一个单词出现的可能性分布;然后取概率最大的一个单词作为当前时刻的输出单词,同时再把这个单词作为输入,预测接下来的单词;
步骤B2.3、判断是否生成结束标记,若未生成一个完整的句子,则返回步骤B2.2;若生成一个完整的句子,则得到遥感影像的描述语句。
应用本发明的描述地物空间关系语义的遥感影像智能理解的方法,有益效果如下:
1、建立了遥感影像高级语义理解基准库,这个遥感影像高级语义理解基准库包含了遥感影像块、遥感影像块对应的矢量数据块、遥感影像块对应的描述语句、遥感影像块中的目标及各目标之间的关系图,从不同的角度实现对遥感影像的理解,如:不仅可以用于影像智能理解,也可以用于影像识别、语言处理、模型改善等其他的相关方面。
2、本发明建立的遥感影像高级语义基准库允许后期再行添加遥感影像对应的描述语句,有利于提高计算机的影像理解及描述的能力。
3、本发明将深度神经网络的方法用于遥感影像理解,通过构建含有大量训练数据的遥感影像语义理解基准库为基础,达到与深度神经网络和遥感影像理解的结合的目的,从而实现遥感影像的智能理解。
4、整个处理方法步骤精简,易于实现;并且能够针对遥感影像来源丰富,分辨率不一,影像内容众多,地物复杂,容易受外界环境影响等诸多因素的个性化特征达到深层次的理解。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照附图和实施例,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是实施例1中描述地物空间关系语义的遥感影像智能理解的方法的框架图;
图2是实施例1中遥感影像块的示意图;
图3是实施例1中与遥感影像块相匹配的矢量数据块的示意图;
图4是实施例1中八种拓扑关系示意图;
图5(a)是实施例1中四方向模型示意图;
图5(b)是实施例1中八方向模型示意图;
图6是实施例1中构建遥感影像块中的目标及各目标之间关系图。
具体实施方式
以下结合实施例对本发明的实施例进行详细说明,但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。
实施例1:
一种描述地物空间关系语义的遥感影像智能理解的方法,详见图1,包括构建遥感影像语义理解基准库和进行遥感影像的语义智能描述两大部分,详情是:
第一部分、构建遥感影像高级语义理解基准库,具体包括以下步骤:
步骤A1、获取遥感影像及与遥感影像对应匹配的矢量数据,具体是方式是从互联网开源的众源OSM数据、国土部门以及测绘部门中至少一种方式获取,如省级地理国情普查数据;
步骤A2、矢量数据的筛选,具体是:保存能够反映地物基本类型的矢量数据和删除不能够反映地物基本类型的矢量数据(如冗余、缺失或不符使用规范等中至少一种的矢量数据),其中:反映地物基本类型的矢量数据包括耕地、园地、林地、草地、房屋建筑、道路、水域以及构建物等矢量数据中的至少一种,矢量数据中的参数有类别、颜色、形状、面积、数量、位置等至少一种信息,可根据实际情况进行选择;
步骤A3、遥感影像的分块裁剪和矢量数据的分块裁剪,具体是:生成多幅规定尺寸的遥感影像块(遥感影像块的像素此处可选600×600或800×800,可按需求进行选择,详见图2);生成多幅与所述遥感影像块相匹配的多幅矢量数据块,详见图3;
步骤A4、对第i块遥感影像块进行目标选择,具体是:根据矢量数据块中记录的属性数据确定遥感影像块中的目标,i为大于等于1且小于等于遥感影像块总数的自然数,详情是:确定遥感影像块中的目标的方法采用中心点法、面积占优法、百分比法以及重要性法中的至少一种;
步骤A5、遥感影像块空间关系的确定,具体是:根据步骤A4所选择的目标,判定各目标之间的空间关系,此处的空间关系包括拓扑关系、方向关系和定性的距离关系,所述拓扑关系包括九交模型中常用到的相离、相接、覆盖、覆盖于、相交、重叠、包含以及包含于共8个拓扑关系,详见图4;所述方向关系采用四方向模型和/或八方向模型进行确定,详见图5(a)和图5(b);所述定性的距离关系使用目标之间的最短距离与遥感影像图幅范围的百分比值s判断定性距离关系,若0<s<0.5,则判为近,若0.5<s<1,则判定为远;
步骤A6、生成遥感影像块对应的描述语句,具体是:根据步骤A4所选择的遥感影像块中的目标、步骤A5所得各目标之间的空间关系以及构建的语句模板(详见表1)生成遥感影像块对应的描述语句,详见表2(此表格的具体描述可根据人工进行适当地修饰),此处:构建的语句模板包含依据地理认知表达和人们日常表达的习惯和方式归纳总结出常用的句式,详情是:
表1构建的语句模板统计表
序号 模板
1 目标物+动词+参照物+拓扑关系词
2 目标物+拓扑动词+参照物
3 目标物+连词+参照物+拓扑动词
4 目标物+动词+参照物+方向词(+定性距离词语)
5 目标物+定性距离动词+参照物
6 目标物+连词+参照物+距离动词+定性距离词语
7 目标物+方向名词+距离动词+参照物
8 目标物+距离动词+参照物+方向名词
表2部分遥感影像的描述语句的统计表
序号 遥感影像的描述语句
1 乡村道路从两侧的房屋和耕地之间穿过。
2 耕地主要位于西北和东南部分而乡村道路和房屋位于中间。
3 房屋分布在乡村道路两侧且紧挨耕地。
4 两块耕地之间有一条乡村道路和六座房屋。
5 六座长方形的房屋之间距离相距较近。
步骤A7、根据步骤A6所得遥感影像块对应的描述语句构建遥感影像块中的目标及各目标之间关系图,详见图6;
步骤A8、取i=i+1,若i大于遥感影像块总数,则进入下一步;否则,返回步骤A4;
步骤A9、获得包含有遥感影像块、遥感影像块对应的矢量数据块、遥感影像块对应的描述语句、遥感影像块中的目标及各目标之间的关系图的遥感影像语义理解基准库。
第二部分、对遥感影像进行智能描述,具体包括以下步骤:
步骤B1、对模型进行训练,具体是:从遥感影像语义理解基准库中选择M幅遥感影像块,提取此些遥感影像块的特征向量并对遥感影像块对应的描述语句进行词向量处理;将此些遥感影像块的特征向量及描述语句的词向量表示输入到模型中进行训练,使模型中的遥感影像块与描述语句中词语匹配的概率取得最大值并对模型中的参数进行更新,得到更新后的模型,其中:M为遥感影像语义理解基准库中遥感影像块总数的80%-90%;此处:
遥感影像块的特征向量的获取方法是:对于遥感影像语义理解基准库中的遥感影像块I使用卷积神经网络CNN进行训练,得到遥感影像块的特征向量CNN(I);x-1=CNN(I),CNN(I)为遥感影像块的特征向量;
词向量处理过程具体是:将此遥感影像块所对应的描述语句用S=(S0,…,St,…,SN)进行表示,其中:t∈{0,…,N-1},St为句子中每个词语的表示,S0为语句开始标记,SN表示结束标记;将n维向量St左乘嵌入矩阵We转化为向量xt,其中:We为k×n维向量;xt=WeSt,t∈{0,…,N-1};
所述步骤B1中训练过程具体是:将此些遥感影像块的特征向量及描述语句的词向量表示输入到模型中进行训练,以获取每个单词的最大概率pt并完成对模型参数的更新,得到新的模型,其中:Pt+1=LSTM(xt),t∈{0,…,N-1};所述模型为循环神经网络模型;
步骤B2、对模型进行测试,具体是:选用遥感影像语义理解基准库中的N个余量遥感影像块,提取此些遥感影像块的特征向量并对遥感影像块对应的描述语句进行词向量处理;将此些遥感影像块的特征向量及描述语句的词向量表示输入到更新后的模型中进行处理得到遥感影像的描述语句,N为遥感影像语义理解基准库中遥感影像块总数的10%-20%,此处对模型进行测试具体包括以下步骤:
步骤B2.1、选用遥感影像语义理解基准库中的N个余量遥感影像块;将此些遥感影像块使用卷积神经网络处理提取特征向量,对应的描述语句进行词向量处理并选取前k个单词作为模型的输入,开始进行预测生成语句,其中:k为大于等于1且小于等于词向量处理后对应描述语句中的单词的总数(此处可将k的值取2);
步骤B2.2、获得此遥感影像所对应的下一个单词出现的可能性分布;然后取概率最大的一个单词作为当前时刻的输出单词,同时再把这个单词作为输入,预测接下来的单词;
步骤B2.3、判断是否生成结束标记,若未生成一个完整的句子,则返回步骤B2.2;若生成一个完整的句子,则得到遥感影像的描述语句;
步骤B3、基于训练并通过测试的模型,对数据库以外的遥感影像块进行基于地物空间关系的遥感影像智能描述。
应用本实施例的技术方案,效果是:基于遥感影像中丰富的地物目标及目标空间关系,生成对应于遥感影像的描述语句,进而建立遥感影像高级语义理解基准库,之后对遥感影像高级语义理解基准库中的遥感影像块及对应的描述语句使用卷积神经网络CNN和LSTM模型处理,达到自动生成遥感影像的语句的目的,在遥感影像理解领域算是引进一种较新的方法,且操作方便,最主要是能实现对遥感影像的个性化特征达到深层理解。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种描述地物空间关系语义的遥感影像智能理解的方法,其特征在于,包括构建遥感影像语义理解基准库和进行遥感影像的语义智能描述;
构建遥感影像语义理解基准库具体包括以下步骤:
步骤A1、获取遥感影像及与遥感影像对应匹配的矢量数据;
步骤A2、矢量数据的筛选,具体是:保存能够反映地物基本类型的矢量数据和删除不能够反映地物基本类型的矢量数据;
步骤A3、遥感影像的分块裁剪和矢量数据的分块裁剪,具体是:生成多幅规定尺寸的遥感影像块;生成多幅与所述遥感影像块相匹配的多幅矢量数据块;
步骤A4、对第i块遥感影像块进行目标选择,具体是:根据矢量数据块中记录的属性数据确定遥感影像块中的目标,i为大于等于1且小于等于遥感影像块总数的自然数;
步骤A5、遥感影像块空间关系的确定,具体是:根据步骤A4所选择的目标,判定各目标之间的空间关系;
步骤A6、生成遥感影像块对应的描述语句,具体是:根据步骤A4所选择的遥感影像块中的目标、步骤A5所得各目标之间的空间关系以及构建的语句模板生成遥感影像块对应的描述语句;
步骤A7、根据步骤A6所得遥感影像块对应的描述语句构建遥感影像块中的目标及各目标之间的关系图;
步骤A8、取i=i+1,若i大于遥感影像块总数,则进入下一步;否则,返回步骤A4;
步骤A9、获得包含有遥感影像块、遥感影像块对应的矢量数据块、遥感影像块对应的描述语句、遥感影像块中的目标及各目标之间的关系图的遥感影像语义理解基准库;
对遥感影像进行智能描述具体包括以下步骤:
步骤B1、对模型进行训练,具体是:从遥感影像语义理解基准库中选择M幅遥感影像块,提取此些遥感影像块的特征向量并对遥感影像块对应的描述语句进行词向量处理;将此些遥感影像块的特征向量及描述语句的词向量表示输入到模型中进行训练,使模型中的遥感影像块与描述语句中词语匹配的概率取得最大值并对模型中的参数进行更新,得到更新后的模型,其中:M为遥感影像语义理解基准库中遥感影像块总数的80%-90%;
步骤B2、对模型进行测试,具体是:选用遥感影像语义理解基准库中的N个余量遥感影像块,提取此些遥感影像块的特征向量并对遥感影像块对应的描述语句进行词向量处理;将此些遥感影像块的特征向量及描述语句的词向量表示输入到更新后的模型中进行处理得到遥感影像的描述语句,N为遥感影像语义理解基准库中遥感影像块总数的10%-20%;
步骤B3、基于训练并通过测试的模型,对数据库以外的遥感影像块进行基于地物空间关系的遥感影像智能描述。
2.根据权利要求1所述的描述地物空间关系语义的遥感影像智能理解的方法,其特征在于,所述步骤A1中获取遥感影像及与遥感影像对应匹配的矢量数据的方式是:从互联网开源的众源OSM数据、国土部门以及测绘部门中至少一种方式获取;
所述步骤A2中反映地物基本类型的矢量数据包括耕地、园地、林地、草地、房屋建筑、道路、水域以及构建物中的至少一种;
所述步骤A3中遥感影像块的像素为600×600或800×800。
3.根据权利要求2所述的描述地物空间关系语义的遥感影像智能理解的方法,其特征在于,所述步骤A4中确定遥感影像块中的目标的方法采用中心点法、面积占优法、百分比法以及重要性法中的至少一种;
所述步骤A5中的空间关系包括拓扑关系、方向关系和定性的距离关系,所述拓扑关系采用九交模型中常用的相离、相接、覆盖、覆盖于、相交、重叠、包含以及包含于共8个拓扑关系;所述方向关系采用四方向模型和/或八方向模型进行确定;所述定性的距离关系使用目标之间的最短距离与遥感影像图幅范围的百分比值s判断定性距离关系,若0<s<0.5,则判定为近,若0.5<s<1,则判定为远。
4.根据权利要求1所述的描述地物空间关系语义的遥感影像智能理解的方法,其特征在于,所述步骤A6中构建的语句模板包含依据地理认知表达和人们日常表达的习惯和方式归纳总结出常用的句式。
5.根据权利要求1所述的描述地物空间关系语义的遥感影像智能理解的方法,其特征在于,所述步骤B1中:
遥感影像块的特征向量的获取方法是:对于遥感影像语义理解基准库中的遥感影像块I使用卷积神经网络进行训练,得到遥感影像块的特征向量CNN(I);x-1=CNN(I),CNN(I)为遥感影像块的特征向量;
词向量处理过程具体是:将此遥感影像块所对应的描述语句用S=(S0,…,St,…,SN)进行表示,其中:t∈{0,…,N-1},St为句子中每个词语的n维向量表示,S0为语句开始标记,SN表示结束标记;将n维向量St左乘嵌入矩阵We转化为向量xt,其中:We为k×n维向量;xt=WeSt,t∈{0,…,N-1};
所述步骤B1中训练过程具体是:将此些遥感影像块的特征向量及描述语句的词向量表示输入到模型中进行训练,以获取每个单词的最大概率pt并完成对模型参数的更新,得到新的模型,其中:Pt+1=LSTM(xt),t∈{0,…,N-1};所述模型为循环神经网络模型。
6.根据权利要求5所述的描述地物空间关系语义的遥感影像智能理解的方法,其特征在于,所述步骤B2中对模型进行测试具体包括以下步骤:
步骤B2.1、选用遥感影像语义理解基准库中的N个余量遥感影像块,将此些遥感影像块使用卷积神经网络处理提取特征向量,对应的描述语句进行词向量处理并选取前k个单词作为模型的输入,开始进行预测生成语句,其中:k为大于等于1且小于等于词向量处理后对应描述语句中的单词的总数;
步骤B2.2、获得此遥感影像所对应的下一个单词出现的可能性分布;然后取概率最大的一个单词作为当前时刻的输出单词,同时再把这个单词作为输入,预测接下来的单词;
步骤B2.3、判断是否生成结束标记,若未生成一个完整的句子,则返回步骤B2.2;若生成一个完整的句子,则得到遥感影像的描述语句。
CN201711045073.2A 2017-10-31 2017-10-31 一种描述地物空间关系语义的遥感影像智能理解的方法 Active CN107807986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711045073.2A CN107807986B (zh) 2017-10-31 2017-10-31 一种描述地物空间关系语义的遥感影像智能理解的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711045073.2A CN107807986B (zh) 2017-10-31 2017-10-31 一种描述地物空间关系语义的遥感影像智能理解的方法

Publications (2)

Publication Number Publication Date
CN107807986A CN107807986A (zh) 2018-03-16
CN107807986B true CN107807986B (zh) 2019-12-17

Family

ID=61591708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711045073.2A Active CN107807986B (zh) 2017-10-31 2017-10-31 一种描述地物空间关系语义的遥感影像智能理解的方法

Country Status (1)

Country Link
CN (1) CN107807986B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108761451B (zh) * 2018-05-21 2020-09-04 中南大学 一种基于多时相遥感影像的土地利用变化智能理解方法
CN108776777A (zh) * 2018-05-25 2018-11-09 武汉理工大学 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
CN109242015B (zh) * 2018-08-29 2020-04-10 北京航空航天大学 基于空基平台视觉监视的水域面积检测方法与装置
CN109242708A (zh) * 2018-09-18 2019-01-18 安徽阡陌网络科技有限公司 一种基于遥感数据与数字田块的农业灾害精准理赔方法
CN110096948B (zh) * 2019-03-15 2020-11-17 中国科学院西安光学精密机械研究所 基于特征聚合卷积网络的遥感影像识别方法
CN111496784B (zh) * 2020-03-27 2021-05-07 山东大学 一种用于机器人智能化服务的空间环境识别方法及系统
CN111814822B (zh) * 2020-05-25 2023-07-28 北京印刷学院 一种敏感图片检测方法、装置及电子设备
CN112232171A (zh) * 2020-10-10 2021-01-15 中煤航测遥感集团有限公司 基于随机森林的遥感影像信息提取方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574887A (zh) * 2016-02-29 2016-05-11 民政部国家减灾中心 高分辨率遥感影像快速分割方法
CN106897679A (zh) * 2017-02-13 2017-06-27 长江水利委员会长江科学院 一种基于改进模糊c均值聚类的语义变化检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574887A (zh) * 2016-02-29 2016-05-11 民政部国家减灾中心 高分辨率遥感影像快速分割方法
CN106897679A (zh) * 2017-02-13 2017-06-27 长江水利委员会长江科学院 一种基于改进模糊c均值聚类的语义变化检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An object-oriented semantic clustering algorithm for high-resolution remote sensing images using the aspect mode;YI W,TANG H,CHEN Y;《IEEE Geoscience and Remote Sensing Letters》;20110831;第522-526页 *
地理空间传感网语义建模与推理研究;王晓蕾;《中国博士学位论文全文数据库 基础科学辑》;20170315(第03期);全文 *
基于语义分析的高分SAR影像变化检测方法研究;浮瑶瑶;《中国优秀硕士学位论文全文数据库信息科技辑》;20150615(第06期);全文 *
面向高分辨率遥感影像分类的多尺度光谱-空间-语义特征融合;慎利;《地理与地理信息科学》;20170930;第33卷(第5期);第1-10页 *

Also Published As

Publication number Publication date
CN107807986A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
CN107807986B (zh) 一种描述地物空间关系语义的遥感影像智能理解的方法
JP7468929B2 (ja) 地理知識取得方法
CN110990590A (zh) 一种基于强化学习和迁移学习的动态金融知识图谱构建方法
CN114996488B (zh) 一种天网大数据决策级融合方法
CN113449594A (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
Ali et al. Rule-guided human classification of Volunteered Geographic Information
CN117151338B (zh) 一种基于大语言模型的多无人机任务规划方法
CN109543043A (zh) 一种基于知识图谱推理的电力通信大数据错误的自动监测方法
CN115934990B (zh) 基于内容理解的遥感影像推荐方法
CN116050429A (zh) 基于多模态数据关联的地理环境实体构建系统及方法
CN114661744B (zh) 一种基于深度学习的地形数据库更新方法及系统
CN110457706B (zh) 兴趣点名称选择模型训练方法、使用方法、装置及存储介质
CN115599899A (zh) 基于飞行器知识图谱的智能问答方法、系统、设备及介质
Sheeren et al. A data‐mining approach for assessing consistency between multiple representations in spatial databases
CN115983385B (zh) 空间环境实体构建方法及装置
CN112612900A (zh) 一种知识图谱指导的多张场景图像生成方法
CN117151659A (zh) 一种基于大语言模型的生态修复工程全生命周期追溯方法
CN116521895A (zh) 生成遥感影像的场景图的方法、系统、装置和介质
CN115878818A (zh) 一种地理知识图谱构建方法、装置、终端及存储介质
CN115470363A (zh) 基于Unity的三维地图语义注释方法
CN110413795A (zh) 一种数据驱动的专业知识图谱构建方法
CN114840673A (zh) 基于NetCDF的多源异构海洋环境数据集成方法
CN115203295A (zh) 一种地缘环境数据库构建与可视化分析方法
CN112579813A (zh) 一种基于知识图谱的遥感图像检索方法及其装置
CN113516055A (zh) 一种用于物品搜索的机器人问答方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant