CN113988147A - 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 - Google Patents
基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 Download PDFInfo
- Publication number
- CN113988147A CN113988147A CN202111487596.9A CN202111487596A CN113988147A CN 113988147 A CN113988147 A CN 113988147A CN 202111487596 A CN202111487596 A CN 202111487596A CN 113988147 A CN113988147 A CN 113988147A
- Authority
- CN
- China
- Prior art keywords
- image
- graph
- network
- label
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000013598 vector Substances 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置,包括将查询图像以及图像库中的各图像转化为图结构;利用预先构建并训练的多尺度图卷积网络,基于图结构对图像场景中的地物进行多标签分类;基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合;利用预先构建并训练的图相似网络对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度;按照相似度大小返回图像,得到最终的多标签检索结果。本发明利于学习更好的图像特征,实现更精确的遥感图像解译。
Description
技术领域
本发明属于图像处理技术领域,涉及一种基于图网络的遥感图像场景多标签分类方法技术领域、多标签分类装置技术领域、多标签检索方法技术领域及多标签检索装置技术领域。
背景技术
随着遥感对地观测技术的不断发展,遥感图像的空间分辨率呈现出从中低分辨率向高分辨率发展的趋势。不同于中低分辨率遥感图像,高分辨遥感图像由于空间分辨率较高可以提供地物更多的细节信息,为遥感图像理解提供了丰富的数据源。针对高分辨率遥感图像,传统的像素级和对象级解译方法适用范围和性能受限,因此,如何发展有效的场景级遥感图像分析方法是现阶段遥感图像处理领域亟待解决的难题。
遥感图像场景分类和检索是对遥感图像进行场景级分析的两个基本任务,前者是将遥感图像场景划分为一个主要的语义类别,如建筑物、道路等,例如文献“AID:Abenchmark data set for performance evaluation of aerial scene classification”对于场景分类的综述,而后者则是从众多遥感图像场景中搜索感兴趣的场景,例如文献“Exploiting Deep Features for Remote Sensing Image Retrieval:A SystematicInvestigation”对于场景检索的综述。遥感图像场景分类和检索方法主要依赖于图像特征,因而如何获取表征能力强的图像特征是场景分类和检索的关键。根据特征获取方式的不同,可将其分为传统的手工特征和当前主流的深度学习特征。手工特征主要包括颜色、纹理、形状、视觉词袋等中低层视觉特征,适用于图像场景简单且数据量小的场景分类与检索问题。相比手工特征,深度学习特征是通过构建深层网络从数据中自动学习图像的高层次特征,其中,以卷积神经网络为代表的深度学习方法广泛用于海量的、场景复杂的遥感图像场景。
现有的基于深度学习的遥感图像场景分类和检索方法具有以下两个特点(可参考上述两篇文献):(1)一幅遥感图像场景只用其包含的主要语义类别(单标签)进行描述,例如,标注为居民区的场景通常包含建筑物、道路、树木等地物;(2)场景分类和检索本质上都属于识别范畴,但实际应用中通常将二者分开进行处理。然而,遥感图像场景通常包含多种地物,仅用主要的语义类别对场景进行描述是不准确的,基于单标签的场景分类和检索难以实现遥感图像的精确解译。在这一背景下,研究遥感图像场景的多标签分类和检索方法是必要的。
发明内容
本发明旨在针对现有的遥感图像场景单标签分类和检索方法忽略了图像包含的多类别地物信息,不能满足精细、准确的遥感图像解译需求,提供基于图网络的遥感图像场景多标签分类方法、多标签分类装置、多标签检索方法及多标签检索装置。
为实现上述技术目的,本发明采用以下技术方案。
第一方面,本发明提供了基于图网络的遥感图像场景多标签分类方法,包括:将图像转化为图结构;
利用预先构建并训练的多尺度图卷积网络,基于图结构对图像场景中的地物进行多标签分类,获得多标签分类结果;
构建并训练多尺度图卷积网络包括:对训练集的图像构建M层的图像金字塔,确定不同尺度相应的图结构;
通过对每个尺度的图结构分别建立N+1层的图卷积网络来构建多尺度图卷积网络,N+1层的图卷积网络包括N个卷积层和1个全连接层,所述卷积层用于通过卷积运算对不同尺度的图结构进行特征学习;所述全连接层的用于将卷积层学习的特征转化为一个特征向量;
利用训练集训练所述多尺度图卷积网络;利用测试集图像对所述多尺度图卷积网络的分类结果进行评价,根据评价结果对多尺度图卷积网络优化,最终获得多尺度图卷积网络。
进一步地,将图像转化为图结构,包括:
采用多尺度分割算法将遥感图像划分成一系列分割对象,采用颜色直方图和灰度共生矩阵组合得到的特征向量描述各分割对象;
将各分割对象的特征向量描述为图结构的节点,采用加权邻接矩阵描述图结构中节点之间的边。
其中,表示图的节点集合,n表示节点的数目,每个节点用p维特征向量描述,表示各节点的标签集合,是连接节点的边;如果两个节点s和t是彼此相邻的,则边是存在的,反之,边是不存在的;s和t表示任意两个节点,V i 的维度是n×p。
进一步地,利用二元交叉熵损失函数完成多尺度图卷积网络训练,所述二元交叉熵损失函数表示如下:
第二方面,遥感图像场景分类与检索本质上都属于图像识别范畴,二者信息可以相互补充以改善分类和检索效果,但现有技术通常将二者分开单独进行处理。针对该技术问题,本发明提供了基于图网络的遥感图像场景多标签检索方法,采用以上技术方案任意一种可能的实施方式提供的基于图网络的遥感图像场景多标签分类方法分别对查询图像以及图像库中的各图像场景中的地物进行多标签分类,获得多标签分类结果;
基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合;
利用预先构建并训练的图相似网络对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度,所述图相似网络包括特征提取模块和相似性计算模块;
按照相似度大小返回图像,得到最终的多标签检索结果。
进一步地,所述基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合,包括以下步骤:设表示查询图像的多标签向量,表示图像库中图像的多标签向量,将二者进行向量点积运算,若,则将图像划分到图像集合中;重复以上步骤,可得到最终的图像集合。
进一步地,所述利用所述图相似网络对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度,包括:
分别对查询图像和图像集合中的图像构建图像金字塔,确定各图像金字塔选定尺度对应的图结构;
将各图像金字塔选定尺度对应的图结构分别输入到特征提取模块中相应的分支网络得到查询图像的节点特征矩阵和图像集合中的图像的节点特征矩阵,并分别映射为特征向量和特征向量,其中所述分支网络包括预先构建并训练的多尺度图卷积网络中所述图卷积网络去除其中全连接层以后的结构;
第三方面,本发明提供了基于图网络的遥感图像场景多标签分类装置,包括图结构表示模块和多尺度图卷积网络模块;
所述图结构表示模块,用于将图像转化为图结构;
所述多尺度图卷积网络模块,用于构建和训练多尺度图卷积网络模块;利用预先构建并训练的多尺度图卷积网络,基于图结构对图像场景中的地物进行多标签分类,获得多标签分类结果;
所述多尺度图卷积网络模块包括针对图像的不同尺度分别建立的N+1层的图卷积网络,N+1层的图卷积网络包括N个卷积层和1个全连接层,所述卷积层用于通过卷积运算对不同尺度的图结构进行特征学习;所述全连接层的用于将卷积层学习的特征转化为一个特征向量。
第四方面,本发明提供了基于图网络的遥感图像场景多标签检索装置,包括:多标签分类模块、第一次检索模块、图相似网络模块以及多标签检索结果确定模块;
所述多标签分类模块采用如以上技术方案的任意一种实施方式提供的基于图网络的遥感图像场景多标签分类装置,用于对查询图像以及图像库中的各图像场景中的地物进行多标签分类,获得多标签分类结果;
所述第一次检索模块,用于基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合;
所述图相似网络模块,用于构建图相似网络,所述图相似网络模块包括特征提取模块和相似性计算模块;所述图相似网络用于对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度;
所述多标签检索结果确定模块,用于按照相似度大小返回图像,得到最终的多标签检索结果。
进一步地,所述特征提取模块,用于在相应的分支网络分别输入查询图像和图像集合中图像的图像金字塔中确定选定尺度对应的图结构,得到查询图像的节点特征矩阵和图像集合中的图像的节点特征矩阵,并分别映射为特征向量和特征向量;所述分支网络包括所述多尺度图卷积网络模块预先构建并训练的多尺度图卷积网络中所述图卷积网络去除全连接层以后的结构。
现有的遥感图像场景多标签分类和检索方法仅考虑图像包含的主要地物类别,对于复杂场景难以实现准确的解译。与现有技术相比,本发明具有如下特点和有益效果:
1、考虑遥感图像包含的所有地物类别实现场景的多标签分类和检索,相比现有的单标签场景分类与检索方法,能够实现更精确的遥感图像解译。
2、采用多尺度分割算法完成图像分割,并采用光谱和纹理的组合特征对图结构的节点进行描述,通过将规则的遥感图像转化图结构表示,利用图结构的节点来表征场景中不同地物的空间关系,有利于学习更好的图像特征。
3、顾及遥感图像包含地物的多尺度特点,构建多尺度的图卷积网络,实现场景的多标签分类。
4、利用训练的多尺度图卷积网络,构建图相似性网络,直接输出查询图像与图像库中图像的相似度。
5、采用两步式检索策略,第一步检索利用场景的多标签向量过滤不相似的图像,在此基础上,对查询图像与图像库中图像的相似度进行排序进行第二部检索,得到最终的多标签检索结果。
附图说明
图1为本发明实施例提供的多标签分类和检索的整体流程图;
图2为本发明实施例多尺度图卷积网络多标签分类的流程图;
图3为本发明实施例图相似性网络多标签检索的流程图。
具体实施方式
以下结合说明书附图和具体实施例对本发明做进一步详细说明。
实施例1:基于图网络的遥感图像场景多标签分类方法,包括:
将图像转化为图结构;
利用预先构建并训练的多尺度图卷积网络,基于图结构对图像场景中的地物进行多标签分类,获得多标签分类结果。
构建并训练多尺度图卷积网络包括:
步骤1,构造用于多标签分类与检索的场景图像库。具体实施时,可以预先构造场景图像库。实施例中,首先对大尺寸的遥感图像进行固定尺寸切分得到场景图像库,并划分为训练集和测试集两个子图像库,其中训练集用于网络训练,测试集用于多标签分类与检索结果评估。
步骤2,采用分割算法将训练集和测试集中的遥感图像场景分割成一系列均质对象,以各分割对象的质心为图结构的节点,将图像转化为图结构表示。
本步骤首先采用多尺度分割算法将训练集和测试集中的遥感图像划分成一系列均质对象,并采用颜色直方图和灰度共生矩阵组合得到的特征向量描述各分割对象。然后,分别对训练集和测试集中的图像场景的各分割区域进行标注,得到各图像的多标签标注结果。最后,将分割对象视为图结构中的节点,按照下面的实施方式定义图结构。
定义了图结构的节点和边之后,为了得到最终的图结构表示,实施例采用步骤2中各分割对象的特征向量描述节点,采用加权邻接矩阵描述节点的边。由此,可将训练集中规则的遥感图像转化为图结构表示,重复此过程,可将测试集中的遥感图像也转化为图结构表示。
由于遥感图像包含的地物具有多尺度的特点,本步骤构建了多尺度的图卷积网络用于多标签分类,具体流程参见图2。对于一幅输入图像,首先,构建M层的图像金字塔,并得到不同尺度相应的图结构表示。然后,对于每个尺度分别构建N+1层的图卷积网络,其中包括N个卷积层和1个全连接层,卷积层的作用是通过卷积运算对不同尺度的图结构进行特征学习,而全连接层的作用则是将卷积层学习的特征转化为一个特征向量。最后,不同尺度的图卷积网络学习的特征最终通过融合得到图像的多尺度特征。以第j层的图卷积网络为例,特征的学习过程可用下式表示:
在其它实施例中,还可以采用现有技术中的损失函数训练网络。关于网络的训练方法为现有技术,本发明不予赘述。
步骤4,利用步骤3训练得到的多尺度图卷积网络对测试集中的各图像场景进行多标签分类,对分类结果进行评价,完成场景的多标签分类。利用训练的多尺度卷积网络进行多标签分类后,测试集中的第i幅图像可用一个标签向量表示,其中取值为0或1(0表示图像不包含当前类别,1与之相反),n表示测试集中图像的地物类别数目。
基于训练的网络进行多标签分类并进行结果评价为现有技术,本发明不予赘述。
实施例2:在实施例1的基础上,本实施提供了基于图网络的遥感图像场景多标签检索方法(如图1所示),还包括:
利用以上实施例提供的基于图网络的遥感图像场景多标签分类方法分别对查询图像以及图像库中的各图像场景中的地物进行多标签分类,获得多标签分类结果;
基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合;
利用预先构建并训练的图相似网络对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度,所述图相似网络模块包括特征提取模块和相似性计算模块;
按照相似度大小返回图像,得到最终的多标签检索结果。实施时,将查询图像与图像库中的图像对应的图结构输入图相似性网络,网络会输出二者的相似度。依次重复该过程,得到查询图像与图像库中所有图像的相似度,然后按照从大到小的顺序排列,取前R ,幅得到最终的对标签检索结果。
在以上实施例步骤4的基础上,本实施例中构建并训练图相似网络还包括以下步骤:
步骤5,基于步骤4得到的图像的多标签向量,对测试集进行第一次检索,具体的检索过程如下。
步骤6,基于步骤3训练的多尺度图卷积网络,构建并训练图相似性网络。
本步骤基于步骤3训练的多尺度图卷积网络(去掉全连接层)构建了图相似网络用于多标签检索,主要包括特征提取模块和相似性计算模块,具体流程参见图3。具体来说,首先,给定一幅查询图像和一幅图像库中的图像,并分别对查询图像和图像集合中的图像构建图像金字塔,确定各图像金字塔选定尺度对应的图结构;将各图像金字塔选定尺度转化为图结构表示和。然后,和分别输入到特征提取模块相应的分支网络得到的节点特征矩阵和的节点特征矩阵,并分别映射为特征向量和;最后,和合并为一个特征向量输入到相似性计算模块中的一个网络分支并经过全连接层组合A,可衡量图结构的全局相似性;而另一个网络分支的输入为基于节点距离矩阵得到的距离直方图,可衡量图结构的局部相似性。
其中,右边第一项表示对比损失项,第二项表示特征正则项,有利于网络训练收敛。m表示图像对的数量,可根据多标签向量的内积确定,当 时,y=1表示输入的两幅图像是匹配的图像对,反之,y=0表示输入的两幅图像不匹配。,m为设定的阈值。对于相似性计算模块,定义如下所示的损失函数:
发明提出的基于图网络的遥感图像场景多标签分类与检索技术方案,首先构造场景图像库,其次将规则的遥感图像场景转化为图结构表示并构建多尺度的图卷积网络实现场景多标签分类,然后利用多标签分类得到的多标签向量进行第一次检索得到初步的检索结果,最后基于训练的多尺度图卷积网络构建图相似性网络度量初始检索结果中查询图像与图像库中其他图像的相似度进行第二次检索得到最终的多标签检索结果。
实施3:与以上实施例提供的基于图网络的遥感图像场景多标签分类方法相对应地,本实施例提供了基于图网络的遥感图像场景多标签分类装置,包括图结构表示模块和多尺度图卷积网络模块;
所述图结构表示模块,用于将图像转化为图结构;
所述多尺度图卷积网络模块,用于构建和训练多尺度图卷积网络模块;利用预先构建并训练的多尺度图卷积网络,基于图结构对图像场景中的地物进行多标签分类,获得多标签分类结果;
所述多尺度图卷积网络模块包括针对图像的不同尺度分别建立的N+1层的图卷积网络,N+1层的图卷积网络包括N个卷积层和1个全连接层,所述卷积层用于通过卷积运算对不同尺度的图结构进行特征学习;所述全连接层的用于将卷积层学习的特征转化为一个特征向量。
实施例4:与以上实施例提供的基于图网络的遥感图像场景多标签检索方法相对应地,本实施例提供了基于图网络的遥感图像场景多标签检索装置,包括:多标签分类模块、第一次检索模块、图相似网络模块以及多标签检索结果确定模块;
所述多标签分类模块采用如以上实施例提供的基于图网络的遥感图像场景多标签分类装置,用于对查询图像以及图像库中的各图像场景中的地物进行多标签分类,获得多标签分类结果;
所述第一次检索模块,用于基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合;
所述图相似网络模块,用于构建图相似网络,所述图相似网络模块包括特征提取模块和相似性计算模块;所述图相似网络用于对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度;
所述多标签检索结果确定模块,用于按照相似度大小返回图像,得到最终的多标签检索结果。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (10)
1.基于图网络的遥感图像场景多标签分类方法,其特征在于,包括:
将图像转化为图结构;
利用预先构建并训练的多尺度图卷积网络,基于图结构对图像场景中的地物进行多标签分类,获得多标签分类结果;
构建并训练的多尺度图卷积网络包括:对训练集的图像构建M层的图像金字塔,确定不同尺度相应的图结构;
通过对每个尺度的图结构分别建立N+1层的图卷积网络来构建多尺度图卷积网络,N+1层的图卷积网络包括N个卷积层和1个全连接层,所述卷积层用于通过卷积运算对不同尺度的图结构进行特征学习;所述全连接层用于将卷积层学习的特征转化为一个特征向量;
利用训练集训练所述多尺度图卷积网络;利用测试集对所述多尺度图卷积网络的分类结果进行评价,最终获得多尺度图卷积网络。
2.根据权利要求1所述的基于图网络的遥感图像场景多标签分类方法,其特征在于,将图像转化为图结构,包括:
采用多尺度分割算法将遥感图像划分成一系列分割对象,并将获得的各分割对象视为图结构的节点,利用颜色直方图和灰度共生矩阵组合得到的特征向量对所述图结构的节点进行描述,采用加权邻接矩阵描述图结构中节点之间的边。
4.基于图网络的遥感图像场景多标签检索方法,其特征在于,
采用权利要求1-3中任意一项权利要求所述的基于图网络的遥感图像场景多标签分类方法分别对查询图像以及图像库中的各图像场景中的地物进行多标签分类,获得多标签分类结果;
基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合;
利用预先构建并训练的图相似网络对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度,所述图相似网络包括特征提取模块和相似性计算模块;
按照相似度大小返回图像,得到最终的多标签检索结果。
6.根据权利要求4所述的基于图网络的遥感图像场景多标签检索方法,其特征在于,利用预先构建并训练的图相似网络对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度,包括:
分别对查询图像和图像集合中的图像构建图像金字塔,确定各图像金字塔选定尺度对应的图结构;
将各图像金字塔选定尺度对应的图结构分别输入到特征提取模块中相应的分支网络得到查询图像的节点特征矩阵和图像集合中的图像的节点特征矩阵,并分别映射为特征向量和特征向量,其中所述分支网络包括预先构建并训练的多尺度图卷积网络中所述图卷积网络去除全连接层以后的结构;
7.基于图网络的遥感图像场景多标签分类装置,其特征在于,包括图结构表示模块和多尺度图卷积网络模块;
所述图结构表示模块,用于将图像转化为图结构;
所述多尺度图卷积网络模块,用于构建和训练多尺度图卷积网络模块;利用预先构建并训练的多尺度图卷积网络,基于图结构对图像场景中的地物进行多标签分类,获得多标签分类结果;
所述多尺度图卷积网络模块包括针对图像的不同尺度分别建立的N+1层的图卷积网络,N+1层的图卷积网络包括N个卷积层和1个全连接层,所述卷积层用于通过卷积运算对不同尺度的图结构进行特征学习;所述全连接层的用于将卷积层学习的特征转化为一个特征向量。
8.基于图网络的遥感图像场景多标签检索装置,其特征在于,包括:
多标签分类模块、第一次检索模块、图相似网络模块以及多标签检索结果确定模块;
所述多标签分类模块采用如权利要求7所述的基于图网络的遥感图像场景多标签分类装置,用于对查询图像以及图像库中的各图像场景中的地物进行多标签分类,获得多标签分类结果;
所述第一次检索模块,用于基于查询图像转化的图结构和多标签分类结果对图像库进行第一次检索,得到与查询图像包含至少一种相同地物的图像集合;
所述图相似网络模块,用于构建图相似网络,所述图相似网络模块包括特征提取模块和相似性计算模块;所述图相似网络用于对图像集合进行第二次检索,得到查询图像与图像库中其他图像的相似度;
所述多标签检索结果确定模块,用于按照相似度大小返回图像,得到最终的多标签检索结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111487596.9A CN113988147B (zh) | 2021-12-08 | 2021-12-08 | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111487596.9A CN113988147B (zh) | 2021-12-08 | 2021-12-08 | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113988147A true CN113988147A (zh) | 2022-01-28 |
CN113988147B CN113988147B (zh) | 2022-04-26 |
Family
ID=79733438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111487596.9A Active CN113988147B (zh) | 2021-12-08 | 2021-12-08 | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113988147B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115146103A (zh) * | 2022-09-01 | 2022-10-04 | 太平金融科技服务(上海)有限公司深圳分公司 | 图像检索方法、装置、计算机设备、存储介质和程序产品 |
CN115953239A (zh) * | 2023-03-15 | 2023-04-11 | 无锡锡商银行股份有限公司 | 一种基于多频流网络模型的面审视频场景评估方法 |
CN116721301A (zh) * | 2023-08-10 | 2023-09-08 | 中国地质大学(武汉) | 目标场景分类模型训练方法、分类方法、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657082A (zh) * | 2018-08-28 | 2019-04-19 | 武汉大学 | 基于全卷积神经网络的遥感图像多标签检索方法及系统 |
CN111339967A (zh) * | 2020-02-28 | 2020-06-26 | 长安大学 | 一种基于多视域图卷积网络的行人检测方法 |
CN111461258A (zh) * | 2020-04-26 | 2020-07-28 | 武汉大学 | 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法 |
CN111476315A (zh) * | 2020-04-27 | 2020-07-31 | 中国科学院合肥物质科学研究院 | 一种基于统计相关性与图卷积技术的图像多标签识别方法 |
US20200394499A1 (en) * | 2019-06-12 | 2020-12-17 | Sri International | Identifying complex events from hierarchical representation of data set features |
CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
CN113657425A (zh) * | 2021-06-28 | 2021-11-16 | 华南师范大学 | 基于多尺度与跨模态注意力机制的多标签图像分类方法 |
-
2021
- 2021-12-08 CN CN202111487596.9A patent/CN113988147B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657082A (zh) * | 2018-08-28 | 2019-04-19 | 武汉大学 | 基于全卷积神经网络的遥感图像多标签检索方法及系统 |
US20200394499A1 (en) * | 2019-06-12 | 2020-12-17 | Sri International | Identifying complex events from hierarchical representation of data set features |
CN111339967A (zh) * | 2020-02-28 | 2020-06-26 | 长安大学 | 一种基于多视域图卷积网络的行人检测方法 |
CN111461258A (zh) * | 2020-04-26 | 2020-07-28 | 武汉大学 | 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法 |
CN111476315A (zh) * | 2020-04-27 | 2020-07-31 | 中国科学院合肥物质科学研究院 | 一种基于统计相关性与图卷积技术的图像多标签识别方法 |
CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
CN113657425A (zh) * | 2021-06-28 | 2021-11-16 | 华南师范大学 | 基于多尺度与跨模态注意力机制的多标签图像分类方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115146103A (zh) * | 2022-09-01 | 2022-10-04 | 太平金融科技服务(上海)有限公司深圳分公司 | 图像检索方法、装置、计算机设备、存储介质和程序产品 |
CN115953239A (zh) * | 2023-03-15 | 2023-04-11 | 无锡锡商银行股份有限公司 | 一种基于多频流网络模型的面审视频场景评估方法 |
CN116721301A (zh) * | 2023-08-10 | 2023-09-08 | 中国地质大学(武汉) | 目标场景分类模型训练方法、分类方法、设备及存储介质 |
CN116721301B (zh) * | 2023-08-10 | 2023-10-24 | 中国地质大学(武汉) | 目标场景分类模型训练方法、分类方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113988147B (zh) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Qin et al. | Highly accurate dichotomous image segmentation | |
Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
Grilli et al. | A review of point clouds segmentation and classification algorithms | |
CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
CN111680176A (zh) | 基于注意力与双向特征融合的遥感图像检索方法及系统 | |
CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN109743642B (zh) | 基于分层循环神经网络的视频摘要生成方法 | |
CN113269224B (zh) | 一种场景图像分类方法、系统及存储介质 | |
CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
CN112598053A (zh) | 基于半监督学习的主动显著性目标检测方法 | |
CN114913434B (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
Alshehri | A content-based image retrieval method using neural network-based prediction technique | |
CN116258877A (zh) | 土地利用场景相似度变化检测方法、装置、介质及设备 | |
Wang et al. | Small vehicle classification in the wild using generative adversarial network | |
Qin et al. | Depth estimation by parameter transfer with a lightweight model for single still images | |
Dewan et al. | Image Classification by Transfer Learning using Pre-Trained CNN Models | |
CN114612315A (zh) | 一种基于多任务学习的高分辨率影像缺失区域重建方法 | |
CN113011506A (zh) | 一种基于深度重分形频谱网络的纹理图像分类方法 | |
CN117351360A (zh) | 一种基于注意力机制改进的遥感图像道路提取方法 | |
CN113704276A (zh) | 地图更新方法、装置、电子设备及计算机可读存储介质 | |
CN117197462A (zh) | 基于多尺度特征融合和对齐的轻量地基云分割方法及系统 | |
Li et al. | A new algorithm of vehicle license plate location based on convolutional neural network | |
CN114579794A (zh) | 特征一致性建议的多尺度融合地标图像检索方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |