CN109657082B - 基于全卷积神经网络的遥感图像多标签检索方法及系统 - Google Patents
基于全卷积神经网络的遥感图像多标签检索方法及系统 Download PDFInfo
- Publication number
- CN109657082B CN109657082B CN201810986598.4A CN201810986598A CN109657082B CN 109657082 B CN109657082 B CN 109657082B CN 201810986598 A CN201810986598 A CN 201810986598A CN 109657082 B CN109657082 B CN 109657082B
- Authority
- CN
- China
- Prior art keywords
- image
- label
- retrieval
- neural network
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000012795 verification Methods 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 238000010586 diagram Methods 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于全卷积神经网络的遥感图像多标签检索方法及系统，顾及遥感图像的多类别信息实现多标签的图像检索，包括输入检索图像库，分成训练集和验证集；构建全卷积神经网络模型FCN，利用训练集进行网络训练；利用FCN对验证集中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样；提取验证集中各图像的局部特征，得到用于检索的特征向量；最后基于提取的多尺度特征和多标签信息进行由粗到细的两步式检索。本发明利用全卷积神经网络不仅学习了图像的多尺度局部特征，而且充分挖掘了图像隐含的多标签信息，相比现有的基于单标签的遥感图像检索方法，有效地提高了图像检索的准确度。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于全卷积神经网络的遥感图像多标签检索方法及系统。
背景技术
现阶段由于遥感技术的快速发展，可获取的高分辨率遥感影像数据量正以惊人的速度增长。如何实现海量遥感数据的高效管理和有效利用，并快速、准确地从海量的遥感数据中挖掘所需信息是目前遥感领域亟待解决的一大难题。遥感图像检索技术作为一种信息检索、挖掘方法，是解决这一难题的有效技术手段。
目前的遥感图像检索技术主要是基于图像内容进行的，通过提取图像的低层视觉特征或高层语义特征对图像内容进行描述，得到用于检索的特征向量。根据特征的提取方式不同，图像检索的特征可分为手工特征和深度学习特征。传统的遥感图像检索方法大多是基于手工特征进行的，包括光谱、纹理以及形状等低层视觉特征。针对小数据量的遥感图像检索，这种基于人工设计特征的检索策略是可行的，而且能够一定程度上满足用户的检索需求，但对于海量的遥感数据，人工设计特征的检索策略将不再适用，这是因为遥感数据的海量性、复杂性等特点导致很难设计一种有效的适用于各种场景的特征描述方法。相比传统的基于手工特征的图像检索方法，深度学习由于能够从海量的数据中自动学习有效的图像特征开始被广泛用于遥感图像检索。
遥感图像具有场景复杂性特点，即一幅图像通常包含多种地物类别(多标签)。例如，一幅建筑区图像，除了建筑物之外往往会包含道路和树木(建筑物为主要类别)，但现有的基于手工和深度学习特征的遥感图像检索方法通常只考虑图像包含的主要语义内容(单标签)，忽略了图像的多类别信息。因此，为了改善遥感图像的检索结果，需要挖掘并充分利用图像包含的类别信息。
发明内容
针对现有的遥感图像单标签检索技术存在的不足，本发明提供了一种基于全卷积神经网络的遥感图像多标签检索技术方案。本发明利用全卷积神经网络挖掘遥感图像的多标签信息，并通过对特征图进行采样提取图像的多尺度局部特征，从而实现多标签的遥感图像检索。
本发明所采用的技术方法为一种基于全卷积神经网络的遥感图像多标签检索方法，顾及遥感图像的多类别信息实现多标签的图像检索，包括以下步骤：
步骤1，输入检索图像库，分成训练集DT和验证集DR；
步骤2，构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
步骤3，利用步骤2训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
步骤4，基于步骤3中图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
步骤5，基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于步骤3中图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
然后基于步骤4提取的图像局部特征在图像库
中进行细检索，计算查询图像和图像库
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
而且，步骤2中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。
而且，步骤3中，上采样后的卷积层特征图与输入图像尺寸相同。
而且，步骤4中，提取验证集DR中某图像I的局部特征，实现方式如下，
其中，
表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，
表标签i相应类别的FCN分割结果，
表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；
根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
后，对特征向量矩阵
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量
最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。
而且，步骤5中，粗检索实现过程如下，
设
表示查询图像的标签向量，
表示验证集DR中其他图像的标签向量，进行向量点积如下，
L＝Lq·Lr
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
中进行下一步细检索。
本发明还相应提供一种基于全卷积神经网络的遥感图像多标签检索系统，实现顾及遥感图像的多类别信息实现多标签的图像检索，包括以下模块：
图像库模块，用于输入检索图像库，分成训练集DT和验证集DR；
网络训练学习模块，用于构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
网络应用模块，用于利用训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
多尺度特征提取模块，用于基于图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
查询模块，用于基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
然后基于提取的图像局部特征在图像库
中进行细检索，计算查询图像和图像库
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
而且，网络训练学习模块中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。
而且，网络应用模块中，上采样后的卷积层特征图与输入图像尺寸相同。
而且，多尺度特征提取模块中，提取验证集DR中某图像I的局部特征，实现方式如下，
其中，
表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，
表标签i相应类别的FCN分割结果，
表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；
根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
后，对特征向量矩阵
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量
最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。
而且，查询模块中，粗检索实现过程如下，
设
表示查询图像的标签向量，
表示验证集DR中其他图像的标签向量，进行向量点积如下，
L＝Lq·Lr
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
中进行下一步细检索。
现有的单标签遥感图像检索方法忽略了图像包含的类别信息，对于场景复杂的遥感影像难以保证其检索结果。与现有技术相比，本发明具有如下特点和有益效果，
1、顾及遥感图像的多类别信息实现了多标签的图像检索，相比现有的单标签图像检索方法，缩短了低层特征和高层语义之间的“语义鸿沟”，有效地改善了图像检索结果。
2、利用预训练的卷积神经网络构建FCN网络模型，减少了网络训练所需要的训练样本数量。此外，基于FCN模型，将图像特征提取和多标签信息挖掘整合到一个统一的框架中，简化了检索流程。
3、利用各卷积层提取图像的多尺度特征，因此，提取的特征同时顾及了图像的粗略和细节信息，增强了特征的表征能力。
4、实行由粗到细的渐进式检索策略，粗检索可以过滤掉不相似的图像，而细检索可以进一步改善检索结果，因此，该策略在保证检索结果准确性的基础上提高了检索效率。
附图说明
图1为本发明实施例的流程图。
具体实施方式
为详细说明本发明技术方案，参见图1，提供实施例流程具体说明如下：
本发明提出的基于全卷积神经网络的遥感图像多标签检索技术方案首先对遥感图像进行分块处理构造用于检索的图像库，然后基于预训练的卷积神经网络模型构建FCN模型并利用训练集完成网络训练，接着基于FCN的分割结果图从各卷积层提取图像的局部特征并进行编码处理得到用于检索的特征向量，最后根据预设的相似性度量准则实现由粗到细的渐进式检索并返回相似图像。
参见图1，实施例的流程具体实现如下：
步骤1，输入检索图像库。
具体实施时，可以预先构造检索图像库。实施例中，对于已有的大幅遥感图像，首先采用Tiles无重叠分块策略进行分块处理，得到检索图像库，并切分成训练集DT和验证集DR两个子图像库，其中DT用于模型训练，DR用于模型验证以及检索结果评估。然后，对DT和DR两个子图像库分别进行多尺度分割，得到各图像相应的分割结果，其中Tiles分块和多尺度分割均为现有技术，例如采用eCognition软件进行多尺度分割，本发明不予赘述。
步骤2，构建一个多层的全卷积神经网络模型(Fully Convolutional Networks,FCN)，利用训练集DT对网络进行训练，用验证集DR对训练的FCN进行验证，当在DR上误差不再下降时停止训练。
本步骤基于预训练的卷积神经网络(Convolutional Neural Networks,CNN)构建FCN网络模型并进行网络训练。其中，CNN网络优选采用现有的VGG16网络，包含13个卷积层和3个全连接层，VGG16具体的网络结构，本发明不予赘述。
基于预训练的卷积神经网络构建FCN模型用于多标签检索，不仅可以把特征提取和标签信息挖掘整合到一个统一的框架中，而且只是用少量的标注样本即可完成FCN网络训练。
实施例的具体实现如下，
对于预训练的VGG16网络，首先修改网络最后的分类器层，使输出数目等于训练集DT包含的类别数目，然后将全连接层卷积化得到卷积层，最后在分类器层后添加上采样层即可得到FCN模型。具体实施时，可采用现有技术对FCN网络训练集DT进行训练，本发明不予赘述。
步骤3，利用训练的FCN对验证集DR中的各图像分别进行标签预测，并对各卷积层特征图进行上采样，得到采样后的卷积层特征图。即对各卷积层的特征图进行上采样得到与原输入的验证集DR中图像尺寸相同的特征图，并将原图像输入到步骤2训练的FCN模型中得到图像的分割结果。具体实施时，可以选用一个或多个卷积层特征图，实施例中考虑了所有的卷积层。利用训练的FCN模型可以预测各图像多标签，获取图像上每个像素的相应类别。
进一步地，优选采用转置卷积对卷积层特征图进行上采样。
设I代表原始的输入图像，H,W分别为原始的输入图像的宽和高，IS代表FCN模型的输出结果，f*()代表FCN模型各卷积层构成的映射函数，F代表卷积层的特征图，FS代表上采样后的特征图，fS()代表采样函数，则FCN分割和特征图采样可分别用式(1)、(2)表示如下，
IS＝f*(I) (1)
FS＝fs(F) (2)
IS中各元素IS(1,1)…IS(H,W)分别代表对应位置像素的标签，用于标识像素所属的类别，取值为1～M间的任一正整数，M表示图像包含的类别数目。FS是一个三维的H×W×D的矩阵，矩阵各元素f(1,1)…f(H,W)分别为一个局部特征向量，向量的维数等于特征图的数目D。
步骤4，图像多尺度特征提取和多标签信息挖掘：基于步骤3中所得图像的分割结果和各采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量。
本步骤中，图像特征为从各卷积层提取并经过后处理得到的局部特征。即为了提取图像的多尺度局部特征，分别从各卷积层进行局部特征提取。
基于步骤3中的FCN模型分割结果和卷积特征图上采样结果，局部特征的提取过程可以用式(3)表示，
其中，
表示图像I中标签为i(i＝1,2...,M)的地物从第j(j＝1,2,...,N)个卷积层提取得到的局部特征矩阵，
表示标签i对应的FCN分割结果，
表示第j个卷积层的三维特征图矩阵(三维为特征图宽、高以及数目)，
表示从特征图矩阵对应位置取出局部特征向量。M表示图像的标签(类别)总数，比如图像包含3类，那M＝3；N表示一个卷积层包含的特征图数目。
得到标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
后，对特征向量矩阵
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
将各类别的局部特征向量串联组合后可得到图像I从卷积层j提取得到的局部特征向量
最后把从各卷积层提取的局部特征向量串联组合后得到图像I的多尺度局部特征pS，该特征用于后续的图像检索。
实施例中，设
每列表示一个局部特征向量，取每一行的均值可得到
即局部特征向量同一维度取均值。
步骤5，针对输入的查询图像，基于步骤4提取的图像特征实现由粗到细的检索，并按预设的相似度准则返回相似图像。
本步骤基于提取的图像多尺度局部特征实现的由粗到细的渐进式检索，实施例具体实现如下：
基于步骤3中图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像并构成子图像库
然后基于步骤4提取的图像局部特征在子图像库
中进行细检索，计算查询图像与
中各图像的相似性，并根据相似性大小返回查询图像的相似图像，具体实施时，可以从验证集DR中取任一图像作为查询图像；
检索过程如下，
设
表示查询图像的标签向量，
表示检索图像库中其他图像的标签向量，其中标签
和标签
的值为0或1，0表示图像包含该类别，1表示图像不包含该类别，n表示图像库总的类别数目。粗检索过程可通过向量点积实现，用下式表示，
L＝Lq·Lr (4)
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
中进行下一步细检索。
设
与
分别表示查询图像和图像库
中图像的特征向量，按照预设的相似性度量函数，例如欧氏距离，计算特征向量之间的距离即可实现细检索。
具体实施时，本发明可采用计算机软件技术实现自动运行流程。本发明实施例还相应提供一种基于全卷积神经网络的遥感图像多标签检索系统，实现顾及遥感图像的多类别信息实现多标签的图像检索，包括以下模块，
图像库模块，用于输入检索图像库，分成训练集DT和验证集DR；
网络训练学习模块，用于构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
网络应用模块，用于利用训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
多尺度特征提取模块，用于基于图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
查询模块，用于基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
然后基于提取的图像局部特征在图像库
中进行细检索，计算查询图像和图像库
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
具体实施时，各模块实现参见相应步骤，本发明不予赘述。
以上内容是结合最佳实施方案对本发明所做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应能理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为本发明的保护范围。
Claims (10)
1.一种基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：顾及遥感图像的多类别信息实现多标签的图像检索，包括以下步骤，
步骤1，输入检索图像库，分成训练集DT和验证集DR；
步骤2，构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
步骤3，利用步骤2训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
步骤4，基于步骤3中图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
步骤5，基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于步骤3中图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
然后基于步骤4提取的图像局部特征在图像库
中进行细检索，计算查询图像和图像库
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
2.根据权利要求1所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤2中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。
3.根据权利要求1所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤3中，上采样后的卷积层特征图与输入图像尺寸相同。
4.根据权利要求1所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤4中，提取验证集DR中某图像I的局部特征，实现方式如下，
其中，
表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，
表标签i相应类别的FCN分割结果，
表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；
根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
后，对特征向量矩阵
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量
最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。
5.根据权利要求1或2或3或4所述基于全卷积神经网络的遥感图像多标签检索方法，其特征在于：步骤5中，粗检索实现过程如下，
设
表示查询图像的标签向量，
表示验证集DR中其他图像的标签向量，进行向量点积如下，
L＝Lq·Lr
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
中进行下一步细检索。
6.一种基于全卷积神经网络的遥感图像多标签检索系统，其特征在于：实现顾及遥感图像的多类别信息实现多标签的图像检索，包括以下模块，
图像库模块，用于输入检索图像库，分成训练集DT和验证集DR；
网络训练学习模块，用于构建一个多层的全卷积神经网络模型FCN，利用训练集DT进行网络训练；
网络应用模块，用于利用训练的全卷积神经网络模型FCN对验证集DR中的各图像分别进行多类别标签预测，得到分割结果；并对各卷积层特征图进行上采样，得到上采样后的卷积层特征图；
多尺度特征提取模块，用于基于图像的分割结果和各上采样后的卷积层特征图，提取验证集DR中各图像的局部特征，并进行特征后处理得到用于检索的特征向量；
查询模块，用于基于多尺度特征和多标签信息进行由粗到细的两步式检索，包括基于图像的分割结果得到图像包含的地物类别，对验证集DR进行粗检索得到与查询图像包含至少一种相同地物类别的图像，构成图像库
然后基于提取的图像局部特征在图像库
中进行细检索，计算查询图像和图像库
中各图像的相似性，并根据相似性大小返回查询图像的相似图像。
7.根据权利要求6所述基于全卷积神经网络的遥感图像多标签检索系统，其特征在于：网络训练学习模块中，基于预训练的卷积神经网络CNN构建全卷积神经网络模型FCN并进行网络训练。
8.根据权利要求6所述基于全卷积神经网络的遥感图像多标签检索系统，其特征在于：网络应用模块中，上采样后的卷积层特征图与输入图像尺寸相同。
9.根据权利要求6所述基于全卷积神经网络的遥感图像多标签检索系统，其特征在于：多尺度特征提取模块中，提取验证集DR中某图像I的局部特征，实现方式如下，
其中，
表示图像I中标签为i的地物从第j个卷积层提取得到的局部特征矩阵，
表标签i相应类别的FCN分割结果，
表示第j个卷积层的三维特征图矩阵；M表示图像的标签总数，i＝1,2...,M；N表示一个卷积层包含的特征图数目，j＝1,2,...,N；
根据标签为i的地物从第j个卷积层提取得到的局部特征向量矩阵
后，对特征向量矩阵
中的各局部特征向量按维度取均值得到标签i相应类别的局部特征向量
将各类别的局部特征向量串联组合后得到图像I从卷积层j提取得到的局部特征向量
最后将从各卷积层提取的局部特征向量串联组合得到图像I的多尺度局部特征pS。
10.根据权利要求6或7或8或9所述基于全卷积神经网络的遥感图像多标签检索系统，其特征在于：查询模块中，粗检索实现过程如下，
设
表示查询图像的标签向量，
表示验证集DR中其他图像的标签向量，进行向量点积如下，
L＝Lq·Lr
若L≥1，则该图像包含与查询图像相同的地物类别，将其存入图像库
中进行下一步细检索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810986598.4A CN109657082B (zh) | 2018-08-28 | 2018-08-28 | 基于全卷积神经网络的遥感图像多标签检索方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810986598.4A CN109657082B (zh) | 2018-08-28 | 2018-08-28 | 基于全卷积神经网络的遥感图像多标签检索方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109657082A CN109657082A (zh) | 2019-04-19 |
| CN109657082B true CN109657082B (zh) | 2022-11-29 |
Family
ID=66110670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810986598.4A Active CN109657082B (zh) | 2018-08-28 | 2018-08-28 | 基于全卷积神经网络的遥感图像多标签检索方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109657082B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110679A (zh) * | 2019-05-13 | 2019-08-09 | 成都图必优科技有限公司 | 基于全卷积网络和条件随机场的地物覆盖率计算方法 |
| CN110245657B (zh) * | 2019-05-17 | 2021-08-24 | 清华大学 | 病理图像相似性检测方法及检测装置 |
| DE102020120934A1 (de) | 2020-08-07 | 2022-02-10 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Bereitstellen eines komprimierten neuronalen Netzes zur Multi-Label Multi-Klassen Kategorisierung, Fahrzeugassistenzeinrichtung zur Umgebungskategorisierung und Kraftfahrzeug |
| CN113988147B (zh) * | 2021-12-08 | 2022-04-26 | 南京信息工程大学 | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107122809A (zh) * | 2017-04-24 | 2017-09-01 | 北京工业大学 | 基于图像自编码的神经网络特征学习方法 |
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN108280187A (zh) * | 2018-01-24 | 2018-07-13 | 湖南省瞬渺通信技术有限公司 | 一种基于卷积神经网络深度特征的分级图像检索方法 |
-
2018
- 2018-08-28 CN CN201810986598.4A patent/CN109657082B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN107122809A (zh) * | 2017-04-24 | 2017-09-01 | 北京工业大学 | 基于图像自编码的神经网络特征学习方法 |
| CN108280187A (zh) * | 2018-01-24 | 2018-07-13 | 湖南省瞬渺通信技术有限公司 | 一种基于卷积神经网络深度特征的分级图像检索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109657082A (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Artificial intelligence for remote sensing data analysis: A review of challenges and opportunities | |
| CN109657082B (zh) | 基于全卷积神经网络的遥感图像多标签检索方法及系统 | |
| US9454714B1 (en) | Sequence transcription with deep neural networks | |
| EP2701098B1 (en) | Region refocusing for data-driven object localization | |
| US11636570B2 (en) | Generating digital images utilizing high-resolution sparse attention and semantic layout manipulation neural networks | |
| CN111461039B (zh) | 基于多尺度特征融合的地标识别方法 | |
| CN102750385B (zh) | 基于标签检索的相关性—质量排序图像检索方法 | |
| CN105528575B (zh) | 基于上下文推理的天空检测方法 | |
| CN111369581A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN113435253B (zh) | 一种多源影像联合城区地表覆盖分类方法 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| Alidoost et al. | Knowledge based 3D building model recognition using convolutional neural networks from LiDAR and aerial imageries | |
| Koch et al. | Real estate image analysis: A literature review | |
| CN114820655A (zh) | 可靠区域作为注意力机制监督的弱监督建筑物分割方法 | |
| Zhou et al. | Region convolutional features for multi-label remote sensing image retrieval | |
| CN111368775A (zh) | 一种基于局部上下文感知的复杂场景密集目标检测方法 | |
| CN112861970A (zh) | 一种基于特征融合的细粒度图像分类方法 | |
| Yu et al. | Toward robust analysis of satellite images using map information-application to urban area detection | |
| CN114187506B (zh) | 视点意识的动态路由胶囊网络的遥感图像场景分类方法 | |
| CN113076889B (zh) | 集装箱铅封识别方法、装置、电子设备和存储介质 | |
| CN112241736A (zh) | 一种文本检测的方法及装置 | |
| CN114155556A (zh) | 一种基于加入通道混洗模块的堆叠沙漏网络的人体姿态估计方法及系统 | |
| CN113052121A (zh) | 一种基于遥感影像的多层级网络地图智能生成方法 | |
| Qiao et al. | Spatial relationship-assisted classification from high-resolution remote sensing imagery | |
| CN111768214A (zh) | 产品属性的预测方法、系统、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |