CN108446312B - 基于深度卷积语义网的光学遥感图像检索方法 - Google Patents

基于深度卷积语义网的光学遥感图像检索方法 Download PDF

Info

Publication number
CN108446312B
CN108446312B CN201810116627.1A CN201810116627A CN108446312B CN 108446312 B CN108446312 B CN 108446312B CN 201810116627 A CN201810116627 A CN 201810116627A CN 108446312 B CN108446312 B CN 108446312B
Authority
CN
China
Prior art keywords
remote sensing
layer
image
convolution
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810116627.1A
Other languages
English (en)
Other versions
CN108446312A (zh
Inventor
焦李成
刘芳
高蕾
丁静怡
张梦旋
陈璞花
古晶
唐旭
杨淑媛
侯彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810116627.1A priority Critical patent/CN108446312B/zh
Publication of CN108446312A publication Critical patent/CN108446312A/zh
Application granted granted Critical
Publication of CN108446312B publication Critical patent/CN108446312B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度卷积语义网的光学遥感图像检索方法，主要解决现有技术中光学遥感图像检索精度低的问题。本发明具体步骤如下：(1)构建深度卷积语义网络；(2)构建训练集；(3)调整网络参数；(4)构建光学遥感图像检索数据库；(5)提取遥感图像特征向量；(6)融合遥感图像特征向量；(7)建立特征库；(8)检索光学遥感图像检索数据库中的光学遥感图像。本发明构建深度卷积语义网络，提取图形的浅层特征、过渡特征以及深层特征，加权融合三个特征，实现不同层级特征优势互补，提高了图像特征的表达能力，进而提高了光学遥感图像的检索精度。

Description

基于深度卷积语义网的光学遥感图像检索方法
技术领域
本发明属于图像处理技术领域，更进一步涉及光学遥感图像检索排序技术领域中的一种基于深度卷积语义网的遥感图像检索方法。本发明可以实现从海量遥感影像数据库中快速、准确地查询到感兴趣的场景图像。
背景技术
随着卫星遥感技术的不断发展，遥感影像数据在城市规划、环境保护、地质勘探、灾害管理、军事侦查与打击等领域得到了日益广泛的应用。然而，随着获取数据的急速增长，如何从海量遥感影像数据库中快速、准确地检索查询出相关的场景图像已经成为目前迫切需要解决的问题之一。遥感图像特征提取方法是基于内容的遥感图像检索的关键环节，它的好坏直接影响到系统的运行效率和检索效果。
Fang Zhao在其发表的论文“Deep Semantic Ranking Based Hashing forMulti-Label Image Retrieval”(IEEE Transactions on Pattern Analysis andMachine Intelligence，2015)中提出了一种深度卷积网络Alexnet的图像检索方法。该方法可以实现从海量影像数据库中快速、准确地查询到感兴趣的图像。该方法首先利用卷积网络Alexnet获取第一图像特征，并引入哈希层构造哈希函数，将图像深度特征的学习和哈希函数的构造在同一过程中完成，挖掘图像特征与哈希函数内在关系，克服了现有技术中利用图像底层特征而导致特征表达能力不强、检索精度低的问题，大大提高图像检索准确率。但是，该方法仍然存在不足之处是：由于卷积网络采用卷积层和池化层级联的形式，造成了网络对于图像的语义信息提取功能较弱。
桂林明辉信息科技有限公司在其申请的专利文献“一种基于深度卷积神经网络的图像检索方法”(专利申请号：201710192895.7，公开号：107092661A)中公开了一种深度学习的图像检索方法。该方法首先构建深度卷积神经网络模型，用训练集图像数据对网络模型进行参数调整，在参数调整完成后的模型中输入测试集数据进行二进制哈希编码的学习，将测试集图像的特征用哈希编码的形式表现出来。最后，在测试集图像数据上进行图像检索，即从测试集图像数据所构成的海量影像数据库中快速、准确地查询到感兴趣的图像。通过本发明学习到了测试集图像数据所构成影像数据库中的图像的深层次的特征，提高图像检索的精确度，克服了传统方法难以学习到图像深层次的特征的缺点，以及解决了计算数据量存储空间过大的问题。但是，该方法仍然存在的不足之处是：仅仅提取深度卷积网络最后一层全连接层的单一特征，对于信息复杂度高的图像检索能力较弱，同时哈希层二值化的哈希编码造成的量化误差也没有得到合理的解决，因此造成了检索精度较低。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于深度卷积语义网的光学遥感图像检索方法。本发明与现有其他光学遥感图像检索方法相比，首先在网络中使用了连接层，将第三个池化层与第十三个卷积层的信息进行融合，提高了网络对于图像语义信息的提取功能，通过用加权融合方法融合浅层特征、过渡特征以及深层特征，使得多级别特征能够实现优势互补，提高了模型对于信息复杂度高的图像的检索精度。
本发明实现上述目的的思路是：先构建一个共25层的深度卷积语义网络，构建训练集遥感图像并进行预处理，用预处理后的训练集遥感图像训练网络，再构建光学遥感图像检索数据库并对数据库中的图像进行预处理，然后将预处理后的检索数据库中的图像送入训练好的网络中，获取检索数据库中每一幅图像的浅层特征向量、过渡特征向量、深层特征向量，用加权融合方法融合提取的三个特征，建立特征库，最后通过计算待检索光学遥感图像的融合特征向量与特征库中每幅图像的融合特征向量两两之间的欧式距离，以及对应的图像之间的相似度，检索出相似度排序中的前30的图像。
本发明实现的具体步骤包括如下：
(1)构建深度卷积语义网络：
搭建一个25层的深度卷积语义网络，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第四个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第五个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第一个连接层→第六个池化层→第一个全连接层→第二个全连接层→第三个全连接层→分类层；
各层的参数设置如下：
将输入层特征映射图的总数设置为3个；
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点；
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点；
将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第一个连接层的特征映射图的总数设置为768个，卷积核的尺度设置为3×3个节点；
将第一至第二个共两个池化层的特征映射图的尺寸设置为2×2个节点；
将第三个池化层的特征映射图的尺寸设置为4×4个节点；
将第四至第六个共三个池化层的特征映射图的尺寸设置为2×2个节点；
将第一个全连接层的特征映射图的总数设置为4096；
将第二个全连接层的特征映射图的总数设置为1000；
将第三个全连接层的特征映射图的总数设置为128；
将分类层中的特征映射图的尺寸设置为20个；
(2)构建训练集：
(2a)从光学遥感影像数据库中选取1280幅图像组成训练集；
(2b)利用傅里叶变换，去除训练集中的每一幅光学遥感图像中的噪声；
(2c)在[0，255]区间，对去除噪音后的训练集中的每一幅遥感图像进行归一化处理；
(3)调整卷积语义网络参数：
将归一化后的训练集图像，输入到深度卷积语义网络模型中，对该模型进行迭代训练，直至深度卷积语义网络的损失值小于预先设定的极小值0.0001，得到训练好的深度卷积语义网络；
(4)构建光学遥感图像检索数据库：
(4a)从光学遥感影像数据库中除训练集以外的图像中，任意选取5120幅图像，组成光学遥感图像检索数据库；
(4b)利用傅里叶变换方法，去除光学遥感图像检索数据库中每一幅图像中的噪声；
(4c)在[0，255]区间，对去除噪音后的光学遥感图像检索数据库中的每一幅图像进行归一化处理；
(5)提取遥感图像特征向量：
将光学遥感图像检索数据库中归一化后的图像，批量输入到训练好的深度卷积语义网络中，分别提取第一个全连接层输出的浅层特征向量、第二个全连接层输出的过渡特征向量、第三个全连接层输出的深层特征向量；
(6)融合遥感图像特征向量：
(6a)利用加权融合公式，对浅层特征向量、过渡特征向量、深层特征向量进行融合，得到融合特征向量；
(7)建立特征库：
将光学遥感图像检索数据库中所有图像的融合特征向量，保存为pkl格式文件，将该文件作为特征库；
(8)检索光学遥感图像检索数据库中的光学遥感图像：
(8a)从光学遥感图像检索数据库中的图像中，任意选取1幅图像作为待检索图像，在
(8b)计算所选待检索图像与光学遥感图像检索数据库中的每一幅图像两两之间的相似度；
(8c)将检索图像库中所有的图像按照相似度的大小排序，选取排名前30的图像，作为检索的光学遥感图像结果。
本发明与现有的技术相比具有以下优点：
第一，本发明通过构建深度卷积语义网络，在网络中使用了连接层，将第三个池化层与第十三个卷积层的信息进行融合，提高了网络对于图像语义信息的提取功能，克服了现有技术中提取图像特征方面缺少语义信息的问题，使得本发明的图像特征表达能力有所增强，提高了光学遥感图像检索的精度。
第二，本发明通过将第一个全连接层输出的浅层特征向量、第二个全连接层输出的过渡特征向量、第三个全连接层输出的深层特征向量加权融合，得到图像的融合特征向量，根据融合特征向量之间的欧式距离计算两幅图像之间的相似度，克服了现有技术提取单一特征造成了对于信息复杂度高的图像检索能力较弱的问题，使得多级别特征能够实现优势互补，提高了模型对于信息复杂度高的图像的检索精度。
附图说明
图1是本发明的流程图；
图2是本发明构建的深度卷积语义网络的结构示意图。
具体实施方式
下面结合附图对本发明做进一步的详细描述。
参照附图1，对本发明的步骤做进一步的详细描述。
该方法利用训练好的深度卷积语义网络，分别提取光学遥感图像中的浅层特征向量、过渡特征向量、深层特征向量，加权融合所提取的三个特征向量，将其作为每幅图像的融合特征向量，并建立特征库；分别计算待检索光学遥感图像的融合特征向量与特征库中每一幅图像的融合特征向量两两之间的欧式距离，作为相似度。
步骤1，构建深度卷积语义网络。
搭建一个25层的深度卷积语义网络，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第四个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第五个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第一个连接层→第六个池化层→第一个全连接层→第二个全连接层→第三个全连接层→分类层。
附图2是本发明构建的深度卷积语义网络结构示意图，包括13层卷积层、6层池化层、1层连接层，3层全连接层。图2中的单向箭头表示特征在通道上的叠加，图2中的矩形块表示深度卷积语义网络提取的卷积特征图，矩形块上方的参数表示卷积特征图分辨率和卷积特征图的总数，例如，第一个卷积层矩形块上方的参数224×224×64中，224×224表示卷积特征图分辨率为224个像素，64表示卷积特征图的总数为64个。
各层的参数设置如下：
将输入层特征映射图的总数设置为3个。
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点。
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点。
将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点。
将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点。
将第一个连接层的特征映射图的总数设置为768个，卷积核的尺度设置为3×3个节点。
将第一至第二个共两个池化层的特征映射图的尺寸设置为2×2个节点。
将第三个池化层的特征映射图的尺寸设置为4×4个节点。
将第四至第六个共三个池化层的特征映射图的尺寸设置为2×2个节点。
将第一个全连接层的特征映射图的总数设置为4096。
将第二个全连接层的特征映射图的总数设置为1000。
将第三个全连接层的特征映射图的总数设置为128。
将分类层中的特征映射图的尺寸设置为20个。
步骤2，构建训练集。
从光学遥感影像数据库中选取1280幅图像组成训练集。所选训练集中的每幅图像中1个场景，所有场景可分为20类，每类选取64幅图像。
利用傅里叶变换，去除训练集中的每一幅光学遥感图像中的噪声。
在[0，255]区间，对去除噪音后的训练集中的每一幅遥感图像进行归一化处理。
步骤3，调整卷积语义网络参数。
将归一化后的训练集图像，输入到深度卷积语义网络模型中，对该模型进行迭代训练，直至深度卷积语义网络的损失值小于预先设定的极小值0.0001，得到训练好的深度卷积语义网络。
步骤4，构建光学遥感图像检索数据库。
从光学遥感影像数据库中除训练集以外的图像中，任意选取5120幅图像，组成光学遥感图像检索数据库。光学遥感图像检索数据库中每一幅图像都可作为待检索图像，从光学遥感图像检索数据库中将所有与待检索图像相似的遥感图像查询出来。
利用傅里叶变换方法，去除光学遥感图像检索数据库中每一幅图像中的噪声。
在[0，255]区间，对去除噪音后的光学遥感图像检索数据库中的每一幅图像进行归一化处理。
步骤5，提取遥感图像特征向量。
将光学遥感图像检索数据库中归一化后的图像，批量输入到训练好的深度卷积语义网络中，分别提取第一个全连接层输出的浅层特征向量、第二个全连接层输出的过渡特征向量、第三个全连接层输出的深层特征向量。
步骤6，融合遥感图像特征向量。
利用加权融合公式，对浅层特征向量、过渡特征向量、深层特征向量进行融合，得到融合特征向量。
所述权融合公式如下：
Figure GDA0002234911150000071
其中，T表示加权融合后的融合特征向量，u表示设为0.5的浅层特征向量的权值系数，Q表示浅层特征向量，v表示设定为0.3过渡特征向量的权值系数，G表示过渡特征向量，w表示初始值设定为0.2的深层特征向量的权值系数，S表示深层特征向量。
步骤7，建立特征库。
将光学遥感图像检索数据库中所有图像的融合特征向量，保存为pkl格式文件，将该文件作为特征库。
步骤8，检索光学遥感图像检索数据库中的光学遥感图像。
从光学遥感图像检索数据库中的图像中，任意选取1幅图像作为待检索图像，从特征库中取出所选待检索图像的融合特征向量。
按以下步骤计算所选待检索图像与光学遥感图像检索数据库中的每一幅图像两两之间的相似度。
第一步，按照下式，计算所选待检索图像的融合特征向量和特征库中每一幅图像的融合特征向量两两之间的欧式距离：
Figure GDA0002234911150000072
其中d12表示待检索图像的融合特征向量和特征库中的任意一幅图像的融合特征向量中的元素两两之间的欧式距离，x1i表示待检索图像的融合特征向量中的第i个元素，x2i表示特征库中的任意一幅图像的融合特征向量中的第i个元素。d12的值越小表示两个向量的相似度越大。
第二步，按照下式，计算所选待检索图像与光学遥感图像检索数据库中的每一幅图像两两之间的相似度：
l12＝1-d12
其中，l12表示待检索图像和其他图像两两之间的相似度。l12的值越大表示两个向量的相似度越大。
将检索图像库中所有的图像按照相似度的大小排序，选取排名前30的图像，作为检索的光学遥感图像结果。
下面结合仿真实验对本发明的效果做进一步的说明。
1.仿真条件：
本发明的仿真实验是在主频2.40GHz*16的Intel(R)Xeon(R)E5-2630 CPU、内存64GB的硬件环境和caffe的软件环境下进行的。
2.仿真内容与结果分析：
使用本发明的方法和两个现有技术(二维卷积神经网络CNN(convolutionalnerual network)、深度卷积哈希网络SSDH(Supervised Learning of Semantics-Preserving Hash via Deep Convolutional Neural Networks))的方法，分别对从光学遥感影像数据库图像中选取的5120幅图像所组成的光学遥感检索数据库中的图像，进行图像检索。
下面采用精度P(Precision)和召回率R(Recall)两个指标，分别对本发明和两个现有技术，二维卷积神经网络CNN(convolutional nerual network)和深度卷积哈希网络SSDH(Supervised Learning of Semantics-Preserving Hash via Deep ConvolutionalNeural Networks)的方法的检索结果进行评价。对于所有待检索图像，获取检索数据库中每一幅图像与待检索图像两两之间的相似度排名前30的图像。在这些图像中，统计与待检索图像属于同一类的图像的个数，记为A、统计与待检索图像不属于同一类的图像的个数，记为B、统计与待检索图像属于同一类但相似度排名在30名以后的图像的个数，记为C。
利用下式，分别计算本发明和两个现有技术对光学遥感图像的检索精度P和召回率R：
精度P＝A/(A+B)
召回率R＝A/(A+C)
将本发明和两个现有技术对光学遥感图像的检索精度P和召回率R的计算结果记录在表1中。其中CNN表示二维卷积神经网络CNN的方法，SSDH表示深度卷积哈希网络SSDH的方法。
表1.三种检索方法效果一览表
精度P 召回率R
本发明 97.667％ 11.445％
CNN 92.333％ 10.820％
SSDH 94.523％ 11.093％
从表1可见，本发明的检索精度P(Precision)为97.667％，召回率R(Recall)为11.445％，这两个指标均高于两种现有技术方法，证明本发明可以得到更好的光学遥感图像检索效果。
接下来，我们采用单类精度AP(Average Precision)为指标，分别对本发明和两个现有技术(二维卷积神经网络CNN(convolutional nerual network)、深度卷积哈希网络SSDH(Supervised Learning of Semantics-Preserving Hash via Deep ConvolutionalNeural Networks))的方法，分别对光学遥感图像检索数据库中每一类待检索图像的检索结果进行评价。对于每一类待检索图像，获取检索数据库中每一幅图像与待检索图像两两之间的相似度排名前30的图像。在这些图像中，统计与待检索图像属于同一类的图像的个数，记为D、统计与待检索图像不属于同一类的图像的个数，记为E。
表2.三种检索方法的单类精度一览表
CNN SSDH 本发明
庄稼(AP) 88.112％ 90.022％ 95.875％
飞机(AP) 93.333％ 94.554％ 96.667％
人造草坪(AP) 98.556％ 98.889％ 99.678％
沙滩(AP) 97.999％ 97.112％ 99.876％
建筑(AP) 88.223％ 93.998％ 96.339％
灌木丛(AP) 92.234％ 94.333％ 98.333％
云(AP) 99.999％ 100％ 100％
容器(AP) 91.333％ 93.998％ 99.998％
密集住宅区(AP) 86.772％ 89.222％ 95.667％
工厂(AP) 85.067％ 90.888％ 95.002％
原始森林(AP) 85.778％ 94.556％ 97.009％
海港(AP) 97.887％ 98.999％ 100％
中等密度住宅区(AP) 90.998％ 94.227％ 96.889％
海洋(AP) 100％ 100％ 100％
停车场(AP) 91.998％ 92.234％ 97.334％
河流(AP) 100％ 100％ 100％
街道(AP) 91.889％ 95.223％ 98.888％
铁路(AP) 92.786％ 93.786％ 99.112％
稀疏住宅区(AP) 85.865％ 88.201 92.335
储罐(AP) 87.845％ 90.299 94.335
利用下式，分别计算本发明和两个现有技术对光学遥感图像检索的单类精度AP(Average Precision)：
单类精度AP＝D/(D+E)
将本发明和两个现有技术对光学遥感图像的单类精度AP的计算结果记录在表2中，其中表格左边第一列表示20类图像中每一类的精度AP，CNN表示二维卷积神经网络CNN的方法，SSDH表示深度卷积哈希网络SSDH的方法。
从表2可见，本发明对于信息含量较为丰富的图像如中等密度住宅区、停车场、工厂这些类别图像的检索精度AP，明显高于两种现有技术方法，证明本发明可以对于信息含量较为丰富的图像有较高的检索精度。
综上所述，本发明通过构建深度卷积语义网络，利用训练好的深度卷积语义网络，分别提取光学遥感图像中的浅层特征向量、过渡特征向量以及深层特征向量，加权融合所提取的三个特征向量，不仅实现多级别特征优势互补，而且网络中的连接层有效提高了网络对于图像语义信息的提取能力，从而提高了图像的检索精度。

Claims (3)

1.一种基于深度卷积语义网的光学遥感图像检索方法，其特征在于，该方法构建深度卷积语义网络，利用训练好的深度卷积语义网络，分别提取光学遥感图像检索数据库中每幅图像的浅层特征向量、过渡特征向量、深层特征向量，将三个特征向量进行融合，作为每幅图像的融合特征向量，建立特征库，通过计算待检索光学遥感图像的融合特征向量与特征库中每幅图像的融合特征向量两两之间的欧式距离，以及对应的图像之间的相似度，检索出相似度排序中的前30的图像；该方法的具体步骤包括如下：
(1)构建深度卷积语义网络：
搭建一个25层的深度卷积语义网络，其结构依次为：输入层→第一个卷积层→第二个卷积层→第一个池化层→第三个卷积层→第四个卷积层→第二个池化层→第五个卷积层→第六个卷积层→第七个卷积层→第三个池化层→第四个池化层→第八个卷积层→第九个卷积层→第十个卷积层→第五个池化层→第十一个卷积层→第十二个卷积层→第十三个卷积层→第一个连接层→第六个池化层→第一个全连接层→第二个全连接层→第三个全连接层→分类层；
各层的参数设置如下：
将输入层特征映射图的总数设置为3个；
将第一至第二个共两个卷积层的特征映射图的总数设置为64个，卷积核的尺度设置为3×3个节点；
将第三至第四个共两个卷积层的特征映射图的总数设置为128个，卷积核的尺度设置为3×3个节点；
将第五至第七个共三个卷积层的特征映射图的总数设置为256个，卷积核的尺度设置为3×3个节点；
将第八至第十三个共六个卷积层的特征映射图的总数设置为512个，卷积核的尺度设置为3×3个节点；
将第一个连接层的特征映射图的总数设置为768个，卷积核的尺度设置为3×3个节点；
将第一至第二个共两个池化层的特征映射图的尺寸设置为2×2个节点；
将第三个池化层的特征映射图的尺寸设置为4×4个节点；
将第四至第六个共三个池化层的特征映射图的尺寸设置为2×2个节点；
将第一个全连接层的特征映射图的总数设置为4096；
将第二个全连接层的特征映射图的总数设置为1000；
将第三个全连接层的特征映射图的总数设置为128；
将分类层中的特征映射图的尺寸设置为20个；
(2)构建训练集：
(2a)从光学遥感影像数据库中选取1280幅图像组成训练集；
(2b)利用傅里叶变换，去除训练集中的每一幅光学遥感图像中的噪声；
(2c)在[0，255]区间，对去除噪音后的训练集中的每一幅遥感图像进行归一化处理；
(3)调整卷积语义网络参数：
将归一化后的训练集图像，输入到深度卷积语义网络模型中，对该模型进行迭代训练，直至深度卷积语义网络的损失值小于预先设定的极小值0.0001，得到训练好的深度卷积语义网；
(4)构建光学遥感图像检索数据库：
(4a)从光学遥感影像数据库中除训练集以外的图像中，任意选取5120幅图像，组成光学遥感图像检索数据库；
(4b)利用傅里叶变换方法，去除光学遥感图像检索数据库中每一幅图像中的噪声；
(4c)在[0，255]区间，对去除噪音后的光学遥感图像检索数据库中的每一幅图像进行归一化处理；
(5)提取遥感图像特征向量：
将光学遥感图像检索数据库中归一化后的图像，批量输入到训练好的深度卷积语义网络中，分别提取第一个全连接层输出的浅层特征向量、第二个全连接层输出的过渡特征向量、第三个全连接层输出的深层特征向量；
(6)利用下述加权融合公式，对浅层特征向量、过渡特征向量、深层特征向量进行融合，得到融合特征向量：
Figure FDA0002234911140000031
其中，T表示加权融合后的融合特征向量，u表示设为0.5的浅层特征向量的权值系数，Q表示浅层特征向量，v表示设定为0.3过渡特征向量的权值系数，G表示过渡特征向量，w表示初始值设定为0.2的深层特征向量的权值系数，S表示深层特征向量；
(7)建立特征库：
将光学遥感图像检索数据库中所有图像的融合特征向量，保存为pkl格式文件，将该文件作为特征库；
(8)检索光学遥感图像检索数据库中的光学遥感图像：
(8a)从光学遥感图像检索数据库中的图像中，任意选取1幅图像作为待检索图像，从特征库中取出所选待检索图像的融合特征向量；
(8b)计算所选待检索图像与光学遥感图像检索数据库中的每一幅图像两两之间的相似度，其步骤如下：
第一步，按照下式，计算所选待检索图像的融合特征向量和特征库中每一幅图像的融合特征向量两两之间的欧式距离：
Figure FDA0002234911140000041
其中d12表示待检索图像的融合特征向量和特征库中的任意一幅图像的融合特征向量两两之间的欧式距离，x1i表示待检索图像的融合特征向量中的第i个元素，x2i表示特征库中的任意一幅图像的融合特征向量中的第i个元素；d12的值越小表示两个向量的相似度越大；
第二步，按照下式，计算所选待检索图像与光学遥感图像检索数据库中的每一幅图像两两之间的相似度：
l12＝1-d12
其中，l12表示待检索图像和特征库中任意一幅图像两两之间的相似度，l12的值越大表示两个向量的相似度越大；
(8c)将检索图像库中所有的图像按照相似度的大小排序，选取排名前30的图像，作为检索的光学遥感图像结果。
2.根据权利要求1所述的基于深度卷积语义网的光学遥感图像检索方法，其特征在于，步骤(2a)中所述的训练集是指，所选训练集中的每幅图像中1个场景，所有场景可分为20类，每类选取64幅图像。
3.根据权利要求1所述的基于深度卷积语义网的光学遥感图像检索方法，其特征在于，步骤(4a)中所述的光学遥感图像检索数据库是指，光学遥感图像检索数据库中每一幅图像都可作为待检索图像，从光学遥感图像检索数据库中将所有与待检索图像相似的遥感图像查询出来。
CN201810116627.1A 2018-02-06 2018-02-06 基于深度卷积语义网的光学遥感图像检索方法 Active CN108446312B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810116627.1A CN108446312B (zh) 2018-02-06 2018-02-06 基于深度卷积语义网的光学遥感图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810116627.1A CN108446312B (zh) 2018-02-06 2018-02-06 基于深度卷积语义网的光学遥感图像检索方法

Publications (2)

Publication Number Publication Date
CN108446312A CN108446312A (zh) 2018-08-24
CN108446312B true CN108446312B (zh) 2020-04-21

Family

ID=63191882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810116627.1A Active CN108446312B (zh) 2018-02-06 2018-02-06 基于深度卷积语义网的光学遥感图像检索方法

Country Status (1)

Country Link
CN (1) CN108446312B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657084A (zh) * 2019-01-07 2019-04-19 哈尔滨理工大学 一种基于图像处理的图书检索方法
CN110083724B (zh) * 2019-05-16 2023-07-25 上海铼锶信息技术有限公司 一种相似图像检索方法、装置及系统
CN110443801A (zh) * 2019-08-23 2019-11-12 电子科技大学 一种基于改进AlexNet的盐丘识别方法
CN111241309B (zh) * 2020-01-07 2021-09-07 腾讯科技（深圳）有限公司 多媒体资源搜索方法、装置及存储介质
CN111522985B (zh) * 2020-04-21 2023-04-07 易拍全球(北京)科贸有限公司 基于深浅层特征提取与融合的古董艺术品图像检索方法
CN112860935B (zh) * 2021-02-01 2023-02-21 西安电子科技大学 一种跨源图像检索方法、系统、介质及设备
CN113641845B (zh) * 2021-07-16 2022-09-23 广西师范大学 一种基于向量对比策略的深度特征对比加权图像检索方法
CN114861016A (zh) * 2022-07-05 2022-08-05 人民中科(北京)智能技术有限公司 一种跨模态检索方法、装置以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
CN106682233A (zh) * 2017-01-16 2017-05-17 华侨大学 一种基于深度学习与局部特征融合的哈希图像检索方法
JP2017091192A (ja) * 2015-11-10 2017-05-25 国立大学法人 東京大学 画像を媒介した異言語文書間の学習法及び装置、言語横断文書検索方法及び装置
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
WO2017163230A1 (en) * 2016-03-24 2017-09-28 Ramot At Tel-Aviv University Ltd. Method and system for converting an image to text

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091192A (ja) * 2015-11-10 2017-05-25 国立大学法人 東京大学 画像を媒介した異言語文書間の学習法及び装置、言語横断文書検索方法及び装置
CN105512289A (zh) * 2015-12-07 2016-04-20 郑州金惠计算机系统工程有限公司 基于深度学习和哈希的图像检索方法
WO2017163230A1 (en) * 2016-03-24 2017-09-28 Ramot At Tel-Aviv University Ltd. Method and system for converting an image to text
CN106682233A (zh) * 2017-01-16 2017-05-17 华侨大学 一种基于深度学习与局部特征融合的哈希图像检索方法
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep Recurrent Neural Networks for Hyperspectral Image Classification;Lichao Mou et al;《IEEE Transactions on Geoscience and Remote Sensing》;20170731;第55卷(第7期);3639-3655 *
Superpixel-Based Multiple Local CNN for Panchromatic and Multispectral Image Classification;Wei Zhao et al;《IEEE Transactions on Geoscience and Remote Sensing》;20170731;第55卷(第7期);4141-4156 *
基于卷积神经网络和哈希编码的图像检索方法;龚震霆等;《智能系统学报》;20160630;第11卷(第3期);391-400 *
基于深度学习的图像语义提取与图像检索技术研究;罗世操;《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》;20160415;第2016年卷(第4期);全文 *

Also Published As

Publication number Publication date
CN108446312A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108446312B (zh) 基于深度卷积语义网的光学遥感图像检索方法
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN104036012B (zh) 字典学习、视觉词袋特征提取方法及检索系统
CN111680176A (zh) 基于注意力与双向特征融合的遥感图像检索方法及系统
CN103020265B (zh) 图像检索的方法和系统
CN109960737B (zh) 半监督深度对抗自编码哈希学习的遥感影像内容检索方法
CN108052966A (zh) 基于卷积神经网络的遥感图像场景自动提取和分类方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN104680173A (zh) 一种遥感图像场景分类方法
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
CN113033520A (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN110929080A (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN113269224B (zh) 一种场景图像分类方法、系统及存储介质
CN115934990B (zh) 基于内容理解的遥感影像推荐方法
Xu et al. Multi-structure joint decision-making approach for land use classification of high-resolution remote sensing images based on CNNs
CN110674326A (zh) 一种基于多项式分布学习的神经网络结构检索方法
CN110555461A (zh) 基于多结构卷积神经网络特征融合的场景分类方法及系统
CN109584203A (zh) 基于深度学习与语义信息的重定位图像质量评价方法
CN106355210A (zh) 基于深度神经元响应模式的绝缘子红外图像特征表达方法
CN107967454B (zh) 顾及空间邻域关系的双路卷积神经网络遥感分类方法
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
Zhang et al. Semisupervised center loss for remote sensing image scene classification
CN115565019A (zh) 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法
CN104331711B (zh) 基于多尺度模糊测度与半监督学习的sar图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant