CN117095198A - 遥感图像检索网络训练方法、应用方法、电子设备及介质 - Google Patents

遥感图像检索网络训练方法、应用方法、电子设备及介质 Download PDF

Info

Publication number
CN117095198A
CN117095198A CN202310812851.5A CN202310812851A CN117095198A CN 117095198 A CN117095198 A CN 117095198A CN 202310812851 A CN202310812851 A CN 202310812851A CN 117095198 A CN117095198 A CN 117095198A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
image retrieval
retrieval network
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310812851.5A
Other languages
English (en)
Inventor
陈亚雄
赵东婕
黄吉瑞
黄锵锵
熊盛武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanya Science and Education Innovation Park of Wuhan University of Technology
Original Assignee
Sanya Science and Education Innovation Park of Wuhan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanya Science and Education Innovation Park of Wuhan University of Technology filed Critical Sanya Science and Education Innovation Park of Wuhan University of Technology
Priority to CN202310812851.5A priority Critical patent/CN117095198A/zh
Publication of CN117095198A publication Critical patent/CN117095198A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种遥感图像检索网络训练方法、应用方法、电子设备及介质，包括：获取遥感图像数据集；构建初始遥感图像检索网络；以遥感图像作为所述初始遥感图像检索网络的输入，基于特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据，基于哈希编码模块确定二值哈希码；以二值哈希码和分类编码确定所述初始遥感图像检索网络损失函数的值，根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件，得到训练完备的遥感图像检索网络。本发明通过特征提取模块捕获遥感图像的多尺度特征，通过让各类遥感图像的二值哈希码靠近各自类别的哈希中心，实现对不同类别样本进行有效区分，以此得到更高精度的遥感图像检索网络。

Description

遥感图像检索网络训练方法、应用方法、电子设备及介质
技术领域
本发明涉及图像检索领域，具体涉及一种遥感图像检索网络训练方法、应用方法、电子设备及计算机可读存储介质。
背景技术
随着遥感技术的发展，遥感图像的数量迅速增长，样本维度可达上千级，这会导致存储空间消耗和检索效率降低，准确度下降，因此如何从海量的遥感图像中准确获取需要的遥感数据是目前需要解决的问题。在现有的遥感图像检索中，和普通图像相比，由于遥感图像在尺度上的差异，不仅不同类别的遥感图像尺度变化大，同一类别的遥感图像也有显著的尺度差异，而在不同尺度下遥感图像表现出不同特征，对检索结果准确性有很大影响。此外由于遥感图像往往包含广泛的土地覆盖，遥感图像的场景复杂，物体类型多样，体积巨大，容易出现对于同一类别的遥感图像，存在明显的视觉差异，而不同类型的遥感图像，可能表现出相似的视觉特征，也会导致检索性能降低。在现有技术中通常采用分布一致的损失函数来解决样本不均衡的问题，虽然在一定程度提高了检索性能，但是不能很好地获得遥感图像的多尺度信息，使得某些特征丢失，生成的哈希编码有效性降低；同时现有技术中对于复杂场景大多学习全局特征，忽略了遥感图像的上下文信息，也导致了遥感图像检索性能较差；此外在对网络训练中，现有技术通常采用成对或者三元组的度量方式，只测量元组之间样本对或者三元组的相似性，不能很好地反映同类样本中所有样本之间相似性，对于不同类别但是相似的遥感图像，不能有效地生成区分不同类别的哈希编码，最终影响遥感图像检索结果。
发明内容
有鉴于此，有必要提供一种遥感图像检索网络训练方法、应用方法、电子设备及计算机可读存储介质，用于解决现有技术中，对遥感图像多尺度信息捕获能力较差，以及无法捕获同类样本组中所有样本之间的相似性，无法对不同类别但相似的遥感图像进行有效区分，导致遥感图像检索准确度较低的技术问题。
为了解决上述问题，本发明提供了一种遥感图像检索网络训练方法，所述方法包括：
获取遥感图像数据集，所述遥感图像数据集包括遥感图像和对应分类编码；
构建初始遥感图像检索网络，所述初始遥感图像检索网络包括特征提取模块和哈希编码模块；
以所述遥感图像作为所述初始遥感图像检索网络的输入，基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据，基于哈希编码模块将所述多尺度特征数据转换为二值哈希码；
以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值，根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件，得到训练完备的遥感图像检索网络。
进一步的，获取遥感图像数据集，包括：
获取遥感图像，将所有遥感图像尺寸裁剪一致，并初始化遥感图像的对应分类编码，根据所述遥感图像和所述对应分类编码构建遥感图像数据集。
进一步的，特征提取模块包括：卷积层、第一残差块、第二残差块、第三残差块、第四残差块和注意力模块，其中第一残差块到第四残差块依次排列，并在第二残差块和第三残差块后各添加一个注意力模块，并将每个残差块中第一个64维通道数分为8个通道组；
在每个残差块进行特征提取过程中，第一通道组不做处理得到第一特征子集，第二个通道组进行卷积操作得到第二特征子集，第三个通道组与第一通道组和第二通道组相加后进行卷积操作得到第三特征子集，第四至第七通道组均为将对应前两个通道组的特征子集相加后进行卷积操作得到第四至第七特征子集，第八通道组将对应前两个通道组的特征子集相加后进行卷积操作得到输出特征数据。
进一步的，基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据，包括：
将所述遥感图像输入卷积层进行卷积操作得到卷积数据；
将所述卷积数据输入第一残差块得到第一特征数据；
将所述第一特征数据输入第二残差块得到第二特征数据；
基于注意力模块提取第二特征数据的加权注意力，并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据；
基于注意力模块提取第三特征数据的加权注意力，并将第三特征数据的加权注意力与第三特征数据融合后输入第四残差块得到多尺度特征数据。
进一步的，基于注意力模块提取第二特征数据的加权注意力，并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据，包括：
将所述第二特征数据输入到注意力模块，在通道维度和空间维度对所述第二特征数据进行有监督分配权重，得到空间注意力权重和通道注意力权重；
将所述空间注意力权重和所述通道注意力权重进行相乘融合后使用激活函数激活，得到第二特征数据的加权注意力；
将所述第二特征数据和第二特征数据的加权注意力相乘融合后输入第三残差块，得到第三特征数据。
进一步的，基于哈希编码模块将所述多尺度特征数据转换为二值哈希码，包括：
设置阈值函数，通过阈值函数将所述多尺度特征数据进行二值化处理，得到遥感图像的二值哈希码。
进一步的，以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值，根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件，得到训练完备的遥感图像检索网络，包括：
根据所述分类编码将所述二值哈希码进行分类，初始化每种分类的哈希中心；
计算所述二值哈希码与所述哈希中心间的等效汉明距离；
设置损失收敛阈值，根据所述等效汉明距离调整所述初始遥感图像检索网络的参数，使得相同分类的二值哈希码与各自类别的哈希中心间的等效汉明距离尽可能减小，直至满足损失收敛阈值，得到训练完备的遥感图像检索网络。
本发明还提供了一种遥感图像检索网络应用方法，包括：
获取待检索遥感图像；
将待检索遥感图像输入到训练完备的遥感图像检索网络，检索同类别遥感图像，其中，所述训练完备的遥感图像检索网络根据上述任一项所述的遥感图像检索网络训练方法确定；
基于所述遥感图像检索网络输出得到同类别遥感图像。
本发明还提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述任一项所述的遥感图像检索网络训练方法，和/或上述的遥感图像检索网络应用方法。
本发明还提供了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项所述的遥感图像检索网络训练方法，和/或上述的遥感图像检索网络应用方法。
与现有技术相比，采用上述实施例的有益效果是：在本发明提供的遥感图像检索网络训练方法中，首先获取遥感图像数据集，所述遥感图像数据集包括遥感图像和对应分类编码；然后构建初始遥感图像检索网络，所述初始遥感图像检索网络包括特征提取模块和哈希编码模块；以所述遥感图像作为所述初始遥感图像检索网络的输入，基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据，基于哈希编码模块将所述多尺度特征数据转换为二值哈希码；最后以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值，根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件，得到训练完备的遥感图像检索网络。综上，本发明通过特征提取模块提取遥感图像的多尺度特征数据，捕获遥感图像的多尺度特征，通过二值哈希码计算等效汉明距离来确定损失函数的值，并通过调整遥感图像检索网络的参数，让各类遥感图像的二值哈希码靠近各自类别的哈希中心，以此捕获同类样本组中所有样本之间的相似性，并对不同类别样本进行有效区分，以此得到更高精度的遥感图像检索网络。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显然，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的遥感图像检索网络训练方法的一个实施例流程示意图；
图2为本发明实施例遥感图像检索网络中特征提取模块的结构示意图；
图3为本发明提供的遥感图像检索网络应用方法的一个实施例流程示意图；
图4为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所以其他实施例，都属于本发明保护的范围。
应当理解，示意图的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1为本发明提供的遥感图像检索网络训练方法的一个实施例流程示意图，如图1所示，遥感图像检索网络训练方法包括：
S101、获取遥感图像数据集，所述遥感图像数据集包括遥感图像和对应分类编码；
S102、构建初始遥感图像检索网络，所述初始遥感图像检索网络包括特征提取模块和哈希编码模块；
S103、以所述遥感图像作为所述初始遥感图像检索网络的输入，基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据，基于哈希编码模块将所述多尺度特征数据转换为二值哈希码；
S104、以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值，根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件，得到训练完备的遥感图像检索网络。
具体地，在本发明提供的遥感图像检索网络训练方法中，首先获取遥感图像数据集，所述遥感图像数据集包括遥感图像和对应分类编码；然后构建初始遥感图像检索网络，所述初始遥感图像检索网络包括特征提取模块和哈希编码模块；以所述遥感图像作为所述初始遥感图像检索网络的输入，基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据，基于哈希编码模块将所述多尺度特征数据转换为二值哈希码；最后以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值，根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件，得到训练完备的遥感图像检索网络。综上，本发明通过特征提取模块提取遥感图像的多尺度特征数据，捕获遥感图像的多尺度特征，通过二值哈希码计算等效汉明距离来确定损失函数的值，并通过调整遥感图像检索网络的参数，让各类遥感图像的二值哈希码靠近各自类别的哈希中心，以此捕获同类样本组中所有样本之间的相似性，并对不同类别样本进行有效区分，以此得到更高精度的遥感图像检索网络。
在本发明的具体实施例中，获取遥感图像数据集，包括：
获取遥感图像，将所有遥感图像尺寸裁剪一致，并初始化遥感图像的对应分类编码，根据所述遥感图像和所述对应分类编码构建遥感图像数据集。
具体地，在实施例中可以通过无人机航拍得到遥感图片，也可以通过访问下载卫星遥感图片，对于尺寸大小不一的遥感图片，本发明的实施例将所以遥感图片的大小裁剪调整为224×224像素，并按照7:3的比例随机划分为训练集和测试集，然后通过one-hot编码(独热编码)方法，生成每个种类遥感图像的分类编码，将遥感图像和对应分类编码，组成遥感图像数据集。
在本发明的具体实施例中，所述特征提取模块包括：卷积层、第一残差块、第二残差块、第三残差块、第四残差块和注意力模块，其中第一残差块到第四残差块依次排列，并在第二残差块和第三残差块后各添加一个注意力模块，并将每个残差块中第一个64维通道数分为8个通道组；
在每个残差块进行特征提取过程中，第一通道组不做处理得到第一特征子集，第二个通道组进行卷积操作得到第二特征子集，第三个通道组与第一通道组和第二通道组相加后进行卷积操作得到第三特征子集，第四至第七通道组均为将对应前两个通道组的特征子集相加后进行卷积操作得到第四至第七特征子集，第八通道组将对应前两个通道组的特征子集相加后进行卷积操作得到输出特征数据。
具体地，在本发明实施例的特征提取模块中，由依次连接的卷积层、四个残差块、平均池化层和一个全连接层组成。并在第二残差块和第三残差块后各添加一个注意力模块用于提取遥感图像的注意力权重。
其中，每个残差块都对其中的卷积进行分组操作，以实现多尺度残差结构。具体地，在每个残差块中，对残差块里第一个64维的通道数，分成8个通道组，第一个通道组不做处理，第二个通道组进行一个3×3的卷积，第三个通道组与前两个通道组相加，然后进行3×3的卷积，第四个通道组开始均为将对应前两个通道组相加之后进行3×3卷积，直到第八个通道组输出特征数据。
本发明实施例通过以残差块将输入特征图分成多个通道组，并在每个通道组中组合不同的通道，以增加每个层级的感受野并获取更细粒度的信息，使得检索网络能够以多个层次理解图像内容，更有效地捕获遥感图像的多尺度特征。
在本发明的具体实施例中，基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据，包括：
将所述遥感图像输入卷积层进行卷积操作得到卷积数据；
将所述卷积数据输入第一残差块得到第一特征数据；
将所述第一特征数据输入第二残差块得到第二特征数据；
基于注意力模块提取第二特征数据的加权注意力，并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据；
基于注意力模块提取第三特征数据的加权注意力，并将第三特征数据的加权注意力与第三特征数据融合后输入第四残差块得到多尺度特征数据。
具体地，图2为本发明实施例的特征提取模块的结构示意图。如图2所示，在特征提取模块中，首先将遥感图像经过卷积层进行卷积操作，并经过最大池化后连续通过第一残差块和第二残差块提取特征信息，然后基于注意力模块通过有监督分配权重提取特征数据的加权注意力，将加权注意力与特征数据融合之后在经过第三残差块提取特征信息，再通过一个注意力模块重复提取加权注意力，并融合后输入第四残差块得到多尺度特征数据。
在本发明的具体实施例中，基于注意力模块提取第二特征数据的加权注意力，并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据，包括：
将所述第二特征数据输入到注意力模块，在通道维度和空间维度对所述第二特征数据进行有监督分配权重，得到空间注意力权重和通道注意力权重；
将所述空间注意力权重和所述通道注意力权重进行相乘融合后使用激活函数激活，得到第二特征数据的加权注意力；
将所述第二特征数据和第二特征数据的加权注意力相乘融合后输入第三残差块，得到第三特征数据。
具体地，在本发明实施例进行特征提取的过程中，第二残差块和第三残差块后各添加一个相同的注意力模块用于提取遥感图像的注意力权重。在每个注意力模块中通过分别在通道维度和空间维度分别进行有监督的分配权重，得到空间注意力权重和通道注意力权重。通道维度注意力公式如下：
Ca(X)＝BN(F2(δ(BN(F1(GAP(X))))))+BN(F2(δ(BN(F1(X)))))
空间维度注意力公式如下：
Sa(X)＝δ(F3([Avgpool(X)；Maxpool(X)]))
其中，F1、F2为逐点卷积，F3是卷积，GAP表示全局平均池化，BN是归一化处理，δ表示sigmoid激活函数，X为提取到的特征数据。
然后将提取到的空间注意力权重和通道注意力权重进行相乘融合后使用sigmoid激活函数激活，使得两种独立权重之间关注点互相补充，得到更加具有区分性的加权注意力。并将加权注意力与前一个残差块输出的特征数据相乘，以增强具有对检索任务具有积极作用的通道特征，同时削弱消极作用的通道特征。计算公式如下：
其中，X为提取到的特征数据，Xa为融合加权注意力后的特征数据，表示逐元素乘法，δ是sigmoid激活函数，Ca和Sa是通道注意力权重和空间注意力权重。
本发明实施例通过注意力模块在通道和空间维度对显著特征进行加权，使得检索网络能更好地提取区域特征，并更好地聚合上下文信息，与现有技术相比，能够在复杂背景中提取出更有辨别性的特征，从而提高遥感图像检索网络的性能。
在本发明的具体实施例中，基于哈希编码模块将所述多尺度特征数据转换为二值哈希码，包括：
设置阈值函数，通过阈值函数将所述多尺度特征数据进行二值化处理，得到遥感图像的二值哈希码。
具体地，在经过特征提取模块中最后一个多尺度残差块后，将全连接层作为哈希层，经过哈希层输出的多尺度特征数据中特征向量hi是连续值，需要通过以下阈值函数将其二值化处理，得到二值哈希码b∈RK，二值化公式如下：
b＝sign(hi)
其中，sign(.)为符号函数，若x>0，则sign(x)＝1，若x<0，则sign(x)＝-1。
在本发明的具体实施例中，以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值，根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件，得到训练完备的遥感图像检索网络，包括：
根据所述分类编码将所述二值哈希码进行分类，初始化每种分类的哈希中心；
计算所述二值哈希码与所述哈希中心间的等效汉明距离；
设置损失收敛阈值，根据所述等效汉明距离调整所述初始遥感图像检索网络的参数，使得相同分类的二值哈希码与各自类别的哈希中心间的等效汉明距离尽可能减小，直至满足损失收敛阈值，得到训练完备的遥感图像检索网络。
具体地，在计算损伤过程中，首先对每种分类设定一个哈希中心，哈希中心可以采用在汉明空间中随机生成方式进行初始化，同时设置一个阈值控制哈希中心的间隔，使哈希中心在汉明空间中分布更加均匀，从而生成更有意义的哈希编码。然后根据哈希码的内积hi·ti与哈希编码的汉明距离成反比，因此可以通过以下公式得到哈希编码与哈希中心的等效汉明距离：
其中，h表示哈希编码在汉明空间的位置，t表示哈希中心在汉明空间的位置，Lp(h,t)为等效汉明距离，m是实施例中通过实验设定的超参数，设置为0.5，hi·ti为哈希码的内积。
然后设置损失收敛阈值作为检索网络损失的损失收敛判断条件，通过计算得到的等效汉明距离，调整遥感图像检索网络的参数，使得同类别遥感图像的哈希编码更接近相同的哈希中心，不同类别遥感图像的哈希编码靠近各自类别的哈希中心，直到满足精度要求足够多的遥感图像的等效汉明距离达到损失收敛阈值要求，得到训练完备的遥感图像检索网络。
综上所述，本发明通过对特征提取模块中残差块进行通道分组以捕获遥感图像的多尺度特征；通过注意力模块在通道和空间维度对显著特征进行加权，提取出更有辨别性的特征；通过等效汉明距离来计算网络损失，更好地区分不同类的遥感图像，以此得到更高精度的遥感图像检索网络。
本发明实施例还提供了一种遥感图像检索网络应用方法，如图3所示，图3为本发明提供的遥感图像检索网络应用方法的一个实施例的流程示意图，包括：
S301、获取待检索遥感图像；
S302、将待检索遥感图像输入到训练完备的遥感图像检索网络，检索同类别遥感图像，其中，所述训练完备的遥感图像检索网络根据上述任一项所述的遥感图像检索网络训练方法确定；
S303、基于所述遥感图像检索网络输出得到同类别遥感图像。
在本发明实施例中，首先，获取待检索的遥感图像；然后利用上述训练完备的遥感图像检索网络对待检索遥感图像进行有效识别检索，即可输出同类别遥感图像。
本发明还提供了一种电子设备400，如图4所示，图4为本发明提供的电子设备一实施例的结构示意图，电子设备400包括处理器401、存储器402及存储在存储器402并可在处理器401上运行的计算机程序，处理器401执行程序时，实现如上所述的遥感图像检索网络训练方法和/或如上所述的遥感图像检索网络应用方法。
作为优选的实施例，上述电子设备还包括显示器403，用于显示处理器401执行如上所述遥感图像检索网络训练方法和/或如上所述的遥感图像检索网络应用方法的过程。
其中，处理器401可能是一种集成电路芯片，具有信号的处理能力。上述的处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器也可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，存储器402可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，安全数字(Secure Digital，SD卡)，闪存卡(Flash Card)等。其中，存储器402用于存储程序，所述处理器401在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器401中，或者由处理器401实现。
其中，显示器403可以是LED显示屏，液晶显示器或触控式显示器等。显示器403用于显示在电子设备400的各种信息。
可以理解的是，图4所示的结构仅为电子设备400的一种结构示意图，电子设备400还可以包括比图4所示更多或更少的组件。图4中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上所述的遥感图像检索网络训练方法和/或如上所述的遥感图像检索网络应用方法。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线，或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合。在本发明件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种遥感图像检索网络训练方法，其特征在于，所述方法包括：
获取遥感图像数据集，所述遥感图像数据集包括遥感图像和对应分类编码；
构建初始遥感图像检索网络，所述初始遥感图像检索网络包括特征提取模块和哈希编码模块；
以所述遥感图像作为所述初始遥感图像检索网络的输入，基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据，基于哈希编码模块将所述多尺度特征数据转换为二值哈希码；
以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值，根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件，得到训练完备的遥感图像检索网络。
2.根据权利要求1所述的遥感图像检索网络训练方法，其特征在于，所述获取遥感图像数据集，包括：
获取遥感图像，将所有遥感图像尺寸裁剪一致，并初始化遥感图像的对应分类编码，根据所述遥感图像和所述对应分类编码构建遥感图像数据集。
3.根据权利要求1所述的遥感图像检索网络训练方法，其特征在于，所述特征提取模块包括：卷积层、第一残差块、第二残差块、第三残差块、第四残差块和注意力模块，其中第一残差块到第四残差块依次排列，并在第二残差块和第三残差块后各添加一个注意力模块，并将每个残差块中第一个64维通道数分为8个通道组；
在每个残差块进行特征提取过程中，第一通道组不做处理得到第一特征子集，第二个通道组进行卷积操作得到第二特征子集，第三个通道组与第一通道组和第二通道组相加后进行卷积操作得到第三特征子集，第四至第七通道组均为将对应前两个通道组的特征子集相加后进行卷积操作得到第四至第七特征子集，第八通道组将对应前两个通道组的特征子集相加后进行卷积操作得到输出特征数据。
4.根据权利要求3所述的遥感图像检索网络训练方法，其特征在于，所述基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据，包括：
将所述遥感图像输入卷积层进行卷积操作得到卷积数据；
将所述卷积数据输入第一残差块得到第一特征数据；
将所述第一特征数据输入第二残差块得到第二特征数据；
基于注意力模块提取第二特征数据的加权注意力，并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据；
基于注意力模块提取第三特征数据的加权注意力，并将第三特征数据的加权注意力与第三特征数据融合后输入第四残差块得到多尺度特征数据。
5.根据权利要求4所述的遥感图像检索网络训练方法，其特征在于，所述基于注意力模块提取第二特征数据的加权注意力，并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据，包括：
将所述第二特征数据输入到注意力模块，在通道维度和空间维度对所述第二特征数据进行有监督分配权重，得到空间注意力权重和通道注意力权重；
将所述空间注意力权重和所述通道注意力权重进行相乘融合后使用激活函数激活，得到第二特征数据的加权注意力；
将所述第二特征数据和第二特征数据的加权注意力相乘融合后输入第三残差块，得到第三特征数据。
6.根据权利要求1所述的遥感图像检索网络训练方法，其特征在于，所述基于哈希编码模块将所述多尺度特征数据转换为二值哈希码，包括：
设置阈值函数，通过阈值函数将所述多尺度特征数据进行二值化处理，得到遥感图像的二值哈希码。
7.根据权利要求1所述的遥感图像检索网络训练方法，其特征在于，所述以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值，根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件，得到训练完备的遥感图像检索网络，包括：
根据所述分类编码将所述二值哈希码进行分类，初始化每种分类的哈希中心；
计算所述二值哈希码与所述哈希中心间的等效汉明距离；
设置损失收敛阈值，根据所述等效汉明距离调整所述初始遥感图像检索网络的参数，使得相同分类的二值哈希码与各自类别的哈希中心间的等效汉明距离尽可能减小，直至满足损失收敛阈值，得到训练完备的遥感图像检索网络。
8.一种遥感图像检索网络应用方法，其特征在于，所述方法包括：
获取待检索遥感图像；
将待检索遥感图像输入到训练完备的遥感图像检索网络，检索同类别遥感图像，其中，所述训练完备的遥感图像检索网络根据权利要求1至7任一项所述的遥感图像检索网络训练方法确定；
基于所述遥感图像检索网络输出得到同类别遥感图像。
9.一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序时，实现根据权利要求1至7任一项所述的遥感图像检索网络训练方法，和/或根据权利要求8所述的遥感图像检索网络应用方法。
10.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1至7任一项所述的遥感图像检索网络训练方法，和/或根据权利要求8所述的遥感图像检索网络应用方法。
CN202310812851.5A 2023-07-04 2023-07-04 遥感图像检索网络训练方法、应用方法、电子设备及介质 Pending CN117095198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310812851.5A CN117095198A (zh) 2023-07-04 2023-07-04 遥感图像检索网络训练方法、应用方法、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310812851.5A CN117095198A (zh) 2023-07-04 2023-07-04 遥感图像检索网络训练方法、应用方法、电子设备及介质

Publications (1)

Publication Number Publication Date
CN117095198A true CN117095198A (zh) 2023-11-21

Family

ID=88782065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310812851.5A Pending CN117095198A (zh) 2023-07-04 2023-07-04 遥感图像检索网络训练方法、应用方法、电子设备及介质

Country Status (1)

Country Link
CN (1) CN117095198A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556062A (zh) * 2024-01-05 2024-02-13 武汉理工大学三亚科教创新园 一种海洋遥感图像音频检索网络训练方法及应用方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556062A (zh) * 2024-01-05 2024-02-13 武汉理工大学三亚科教创新园 一种海洋遥感图像音频检索网络训练方法及应用方法
CN117556062B (zh) * 2024-01-05 2024-04-16 武汉理工大学三亚科教创新园 一种海洋遥感图像音频检索网络训练方法及应用方法

Similar Documents

Publication Publication Date Title
Torii et al. Visual place recognition with repetitive structures
Knopp et al. Avoiding confusing features in place recognition
CN107622489B (zh) 一种图像篡改检测方法及装置
CN102236675A (zh) 图像特征点匹配对处理、图像检索方法及设备
CN109543674B (zh) 一种基于生成对抗网络的图像拷贝检测方法
CN114140683A (zh) 一种航拍图像目标检测的方法、设备与介质
CN117095198A (zh) 遥感图像检索网络训练方法、应用方法、电子设备及介质
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114898266B (zh) 训练方法、图像处理方法、装置、电子设备以及存储介质
CN115761599A (zh) 一种视频异常检测方法及系统
Tu et al. Detection of damaged rooftop areas from high-resolution aerial images based on visual bag-of-words model
CN111373393A (zh) 图像检索方法和装置以及图像库的生成方法和装置
CN113962324A (zh) 图片检测方法、装置、存储介质及电子设备
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN111178367A (zh) 适应多物件尺寸的特征决定装置及方法
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN116958606A (zh) 一种图像匹配方法及相关装置
CN112686122A (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN115546762A (zh) 图像聚类方法、装置、存储介质及服务器
CN112785601B (zh) 一种图像分割方法、系统、介质及电子终端
Sheikh et al. Noise tolerant classification of aerial images into manmade structures and natural-scene images based on statistical dispersion measures
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
Nag et al. CNN based approach for post disaster damage assessment
CN114155524A (zh) 单阶段3d点云目标检测方法及装置、计算机设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination